王小雷-多面手-CSDN博客

原创 “卜算子·大数据”学习系列原创文章、源码——从入门到精通

大数据 big-data 转载请注明出处与作者信息（如下）原创作者：王小雷作品出自：https://github.com/wangxiaoleiAI/big-data联系邮件：wov@outlook.comStar Fork Follow 评论 issues项目地址 https://github.com/wangxiaoleiAI/machine-learning...

2018-06-14 10:26:01 1246 1

原创 Hadoop3.1.0完全分布式集群部署超详细记录

Hadoop3.1.0完全分布式集群部署，三台服务器部署结构如下github配置文件源码地址#部署完成后root@servera:/opt/hadoop/hadoop-3.1.0# jps14056 SecondaryNameNode14633 Jps13706 NameNode14317 ResourceManagerroot@serverb:~# jps5288 Nod...

2018-05-09 19:28:48 36502 6

原创 There is no PasswordEncoder mapped for the id "null"

There is no PasswordEncoder mapped for the id “null”1、问题描述：在写基于Spring cloud微服务的OAuth2认证服务时，因为Spring-Security从4+升级到5+，导致There is no PasswordEncoder mapped for the id “null”错误。2、解决方案：可在密码验证类中添...

2018-02-26 20:36:54 18096 7

原创 Mysql设置UTF-8字符集

1.linux/ubuntu下设置mysql设置UTF-8字符集1.1编辑 my.cnf 文件root@server1:~# vim /etc/mysql/my.cnf1.2添加内容后如下[mysqld]character-set-server=utf8[client]default-character-set=utf8 - 1.3查看root@se

2018-01-10 15:51:27 2143

原创 React Natvie在Mac os上安装并创建项目

详细记录React-Native 0.47版本在Mac OS 上安装过程并初始化项目。

2017-08-23 09:11:03 1693 1

原创 Redis4集群安装部署实战

redis服务器的集群主从配置，从redis的安装到实例开启，到集群创建成功。

2017-08-15 20:18:18 10907

原创第一章人工智能之机器学习算法体系汇总

参加完2017CCAI，听完各位专家的演讲后受益匪浅。立志写“人工智能之机器学习”系列，此为开篇，主要梳理了机器学习算法体系，人工智能相关趋势，Python与机器学习，以及结尾的一点感想。抱着一颗严谨学习之心，有不当之处欢迎斧正。

2017-07-29 20:48:36 20307 20

原创 Ubuntu17.04安装TensorFlow1.2的GPU版本

摘要：Ubuntu17.04安装TensorFlow1.2的GPU版本。首先验证nvidia显卡，然后安装CUDA Toolkit 8.0，安装cuDNN v5深度神经网络计算加速库，最后通过python pip安装TensorFlow-GPU版本。

2017-07-11 18:57:25 13062 2

原创超详细讲解Sqoop2应用与实践

摘要:超详细讲解Sqoop2应用与实践，从hdfs上的数据导入到postgreSQL中，再从postgreSQL数据库导入到hdfs上。详细讲解创建link和创建job的操作，以及如何查看sqoop2的工作状态。1.准备，上一篇超详细讲解Sqoop2部署过程，2创建link，3创建job.

2017-07-10 20:06:57 12782 3

原创超详细讲解Sqoop2部署过程

摘要:超详细讲解Sqoop2部署过程，1.下载Sqoop2,增加Sqoop2变量，修改Sqoop2配置文件，默认已经安装好了hadoop。另外提供[Sqoop2自动部署源码](https://github.com/wangxiaoleiAI/whaleai-sqoop)

2017-07-04 13:35:53 6468 1

原创 VirtualBox NAT host-only高级网络配置

概述：VirtualBox NAT host-only高级网络配置，虚拟机既可以相互通信也可以上网。同时，添加NAT方式让虚拟机上网，添加host-only方式让虚拟机与虚拟机通信。深入分析Host-only自定义网段，Windows和Linux环境下分别使用ssh，网卡命名规则。默认已经安装virtualbox，在virtualbox中已经安装ubunut系统。

2017-03-30 11:24:40 11487 1

原创超详细记录公司多用户Docker仓库创建安全认证和应用

概述：超详细记录建立公司内部多用户Docker仓库，自定义CA证书，https安全认证。服务器作为远程Docker仓库，其他开发端（如server2，server3等）添加认证并登录，多开发端可以上传下载公司内部的docker仓库的镜像。公司的CI，CD用内部docker镜像仓库上传和下载方便，安全，方便统一管理公司容器镜像。

2017-02-27 10:43:58 7496 4

原创 Apache Beam WordCount编程实战及源码解读

概述：Apache Beam WordCount编程实战及源码解读,并通过intellij IDEA和terminal两种方式调试运行WordCount程序，Apache Beam对大数据的批处理和流处理，提供一套先进的统一的编程模型，并可以运行大数据处理引擎上。完整项目Github源码负责公司大数据处理相关架构，但是具有多样性，极大的增加了开发成本，急需统一编程处理，Apache Beam，一处编

2017-02-21 10:41:31 7795 4

原创基于Docker的TensorFlow机器学习框架搭建和实例源码解读

概述：基于Docker的TensorFlow机器学习框架搭建和实例源码解读，TensorFlow作为最火热的机器学习框架之一，Docker是的容器，可以很好的结合起来，为机器学习或者科研人员提供便捷的机器学习开发环境，探索人工智能的奥秘，容器随开随用方便快捷。源码解析TensorFlow容器创建和示例程序运行，为热爱机器学者降低学习难度。默认机器已经装好了Docker（Docker安装和使用可以看我

2017-02-17 19:23:56 15721 13

原创 Spark jdbc postgresql数据库连接和写入操作源码解读

概述：Spark postgresql jdbc 数据库连接和写入操作源码解读，详细记录了SparkSQL对数据库的操作，通过java程序，在本地开发和运行。整体为，Spark建立数据库连接，读取数据，将DataFrame数据写入另一个数据库表中。附带完整项目源码(完整项目源码github)。1.首先在postgreSQL中创建一张测试表，并插入数据。（完整项目源码Github）1.1. 在post

2017-02-10 09:08:26 13976 3

原创 spark (java API) 在Intellij IDEA中开发并运行

概述：Spark 程序开发，调试和运行，intellij idea开发Spark java程序。分两部分，第一部分基于intellij idea开发Spark实例程序并在intellij IDEA中运行Spark程序.第二部分，将开发程序提交到Spark local或者hadoop YARN集群运行。Github项目源码图1，直接在intellij IDEA(社区版)中开发调试，直接run。图2

2017-02-07 20:50:39 18796 1

原创 React-Native-Android-Studio整合开发+环境配置+官方实例

linux下React Native开发环境搭建，使用Android-studio工具进行React Native整合开发。参考React Native的官方文档，通过图文详细记录开发过程。可以查看本文档中涉及Github源码。步骤1，2，3来配置React Native开发环境步骤4,5做react-native与Android运行demo整合开发。1.安装Nodejs1.1.下载最新版nod

2016-12-21 16:56:57 32624

原创 docker 开发常用命令总结

Docker 常用命令总结，镜像下载，到docker容器创建，常用docker命令的增删查镜像下载，从hub.docker.com中下载最新版本的postgresdocker pull postgres首次启动一个容器，名称为--name docker-postgresql，把容器/root文件挂在到 ~/codehub下 -v ~/codehub:/root:ro,设置postgres密码为12

2016-12-14 16:08:03 1613

原创 pgAdmin4 ubuntu python 安装

ubuntu安装pgAdmin4，通过python的pip 安装 pgAdmin4.(首更时间20161205) 新版本的pgAdmin4目前支持mac/window/linux/python，可是linux中只用YUM可以直接安装，而其他发行版只能通过python来安装pgAdmin4。 ubuntu16.04.1通过python3(Python2也可以)安装pgAdmin4。注意，官网推荐使

2016-12-05 10:53:47 10684 2

原创用windows浏览器打开Linux的Jupyter notebook开发、调试示例

1.场景，在windows浏览器中打开Linux环境下的jupyter notebook。Jupyter notebook 服务，Spark计算环境在Linux服务器中，而工作环境是windows。在windows下使用jupyter notebook环境进行开发、调试。配置文件Github源码然后在windows下编程即可调试2.安装python和jupyter notebook（spark部署略可参考我其他博文）

2016-11-25 13:51:45 18389 4

原创超详细从零记录Hadoop2.7.3完全分布式集群部署过程

超详细从零记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程。包含，Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Hadoop格式化、启动。（首更时间2016年10月27日）

2016-10-27 16:12:29 44669 16

原创安装配置postgreSQL+pgcli+pgadmin3

记录了postgreSQL数据库的完整的安装配置过程，以及postgreSQL的pgcli命令行智能提醒扩展，pgadmin3图形化管理客户端的配置安装。1.环境前提linux（ubuntu16.04）postgresql-95 在postgreSQL官网下载deb安装包2.安装postgresql,使用dkpg命令进行安装sudo dpkg -i /home/wxl/Downloads/p

2016-09-05 15:46:17 5606 2

原创 Spark企业级应用开发和调优

Spark项目编程优化历程记录，主要介绍了Spark企业级别的开发过程中面临的问题和调优方法。包含合理分配分片，避免计算中间结果（大数据量）的collect,合理使用map,优化广播变量等操作，降低网络和磁盘IO，提高计算效率。

2016-09-05 13:22:19 1887

原创实例解析Docker数据卷+数据卷容器+flocker数据共享+DockerHub操作

Docker内部数据管理和Docker之间的数据共享为数据卷和数据卷容器,实例解析1.将本地的文件作为容器的数据卷,2.数据卷flocker插件实现容器集群(或者Docker Swarm)的数据共享3.数据卷容器作为其他容器的数据卷.降低磁盘开销.4.数据的备份,恢复和迁移.5.Docker hub的常用操作.1.0.数据卷(Data volumes)Data volumes是一个或者多个容器特别指

2016-08-21 19:55:38 7086

原创 Docker网络管理机制实例解析+创建自己Docker网络

实例解析Docker网络管理机制(bridge network,overlay network),介绍Docker默认的网络方式,并创建自己的网络桥接方式,将开发的容器添加至自己新建的网络,提高Docker网络安全和通信.1.给自己的docker (Dcoker1.12GA)容器起个名称给docker名称的好处是: - 容易记 - 可以通过特殊命令,使得名称可以在容器和容器之间使用1.1

2016-08-09 20:49:37 12088 1

原创创建Python数据分析的Docker镜像+Docker自定义镜像commit,Dockerfile方式解析+pull,push,rmi操作

实例解析Docker如何通过commit,Dockerfile两种方式自定义Dcoker镜像,对自定义镜像的pull,push,rmi等常用操作,通过实例创建一个Python数据分析开发环境的Docker镜像.1.通过commit操作在一个已有的镜像上做更改而保存为新的镜像.2.实例解析Dockerfile自定义镜像原理过程和命令规则.3.实例解析对自定义镜像做pull,push,rmi等常用操作

2016-08-07 13:15:02 5074 2

原创 HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操作+HBase架构体系

HBase1.2.2伪分布式安装(HDFS)+ZooKeeper-3.4.8安装配置+HBase表和数据操作+HBase的架构体系+单例安装,记录了在Ubuntu下对HBase1.2.2的实践操作,HBase的安装到数据库表的操作.包含内容1.HBase单例安装2.HBase伪分布式安装(基于Hadoop的HDFS)过程,3.HBase的shell编程,对HBase表的创建,删除等的命令,HBase

2016-08-02 07:36:04 7032

原创 Ubuntu16.04安装后开发环境配置和常用软件安装

Ubuntu16.04安装后1.安装常用软件搜狗输入法+编辑器Atom+浏览器Chome+视频播放器vlc+图像编辑器GIMP Image Editor安装+视频录制软件RcordMyDesktop安装.2.开发环境配置.JDK环境配置+scala环境配置+nodejs环境配置+开发工具intellij IDEA安装+Python数据分析环境配置+Jupyter开发工具安装+Python多版同时支持

2016-07-26 22:36:10 18215 2

原创 Ubuntu16.04安装Docker1.12+开发实例+hello world+web应用容器

本次主要是详细记录Docker1.12在Ubuntu16.04上的安装过程，创建Docker组（避免每次敲命令都需要sudo），Docker常用的基本命令的总结，在容器中运行Hello world，以及创建一个基于Python Flask的web应用容器的全过程。1.Docker1.12在Ubuntu16.04上安装1.1.先决条件1,添加Docker源wxl@wxl-pc:~$ sudo ap

2016-07-21 17:45:13 14981

原创云端基于Docker的微服务与持续交付实践

云端基于Docker的微服务与持续交付实践笔记，是基于易立老师在阿里巴巴首届在线技术峰会上《云端基于Docker的微服务与持续交付实践》总结而出的。本次主要讲了什么？- Docker Swarm - Docker Swarm mode - 微服务支持（Docker集群架构体系） -持续交付实践 - Docker的发展趋势和前沿成果

2016-07-20 13:28:51 5407 1

原创 Spark应用(app jar)发布到Hadoop集群的过程

记录了Spark，Hadoop集群的开启，关闭，以及Spark应用提交到Hadoop集群的过程，通过web端监控运行状态。1.绝对路径开启集群（每次集群重启，默认配置的hadoop集群中tmp文件被清空所以需要重新format) 我的集群安装位置是/opt/hadoop下，可以根据自己路径修改。/opt/hadoop/bin/hdfs namenode -format/opt/hadoop/sbi

2016-07-19 16:13:03 2762

原创 Ubuntu16.04安装Hadoop2.6+Spark1.6+开发实例

Ubuntu16.04安装Hadoop2.6+Spark1.6，并安装python开发工具Jupyter notebook，通过pyspark测试一个实例，調通整个Spark+hadoop伪分布式开发环境。主要内容：配置root用户，配置Hadoop，Spark环境变量，Hadoop伪分布式安装并测试实例，spark安装并通过Jupter notebook进行开发实例，配置Jupter notebo

2016-07-19 13:27:49 15310 1

原创 python数据分析工具安装集合

用python做数据分析离不开几个好的轮子（或称为科学棧/第三方包等），比如matplotlib，numpy, scipy, pandas, scikit-learn, gensim等，这些包的功能强大，丰富，包括含了绘图，机器学习，爬虫，数据分析等等。而开发工具推荐使用pycharm或者Jupyter notebook（ipython notebook）。开发起来的样子是这样的。此方法，同时适

2016-07-18 18:55:14 6604 1

原创 spark编程python实例

spark编程python实例ValueError: Cannot run multiple SparkContexts at once; existing SparkContext(app=PySparkShell, master=local[])1.pyspark在jupyter notebook中开发，测试，提交1.1.启动IPYTHON_OPTS="notebook" /opt/spark/

2016-07-17 23:51:23 17329

原创 Intellij idea配置scala开发环境

1.Intellij idea配置scala开发环境解决Plugin Scala was not installed: No route to host Plugin Scala was not installed: connect timed out Plugin Scala was not installed: Cannot download ‘http://plugins.jetbrain

2016-07-17 23:14:30 47005 3

原创 Windows下安装Hadoop

Windows10下安装Hadoop2.6，Windows10下编译64位Hadoop2.x。详细记录了Windows10版本下对Hadoop的编译、安装步骤，以及相关包或者软件下载安装过程。不需要在Cygwin下安装Hadoop，官方也不推荐使用Cygwin。 Hadoop版本支持情况：Hadoop 2.2版本起包括Windows的原生支持。截至2014年一月份，官方的Apache Hadoo

2016-07-08 17:18:48 30859 5

原创 R语言基础命令与安装

1. R的安装过程1.1.首先附上清华线路的下载链接Windows版3.3.11.2. 选择安装路径1.3. 注意根据自己的计算机位数选择，如我的是64位，便选择64位安装。1.4. 其他默认点击“下一步”即可。开启界面。2. 基础命令学习2.1 基本的矢量计算加减乘除不在话下，遵循数学法则。> 1+1[1] 2> a=5+10> a[1] 15>2.2 图形> t=0:100> n=1

2016-07-07 21:49:19 1215

原创 atom markdown转换PDF 解决AssertionError: html-pdf: Failed to load PhantomJS module

atom编辑器markdown转换PDF解决AssertionError: html-pdf: Failed to load PhantomJS module. You have to set the path to the PhantomJS binary using ‘options.phantomPath’环境Windows10 atom 1. atom编辑器安装 2. 安装插件 3.

2016-07-01 13:27:07 11193 8

原创解决Pandoc wasn't found.pdflatex not found on PATH

解决nbconvert failed: Pandoc wasn’t found.解决nbconvert failed: pdflatex not found on PATH问题1描述500 : Internal Server Error nbconvert failed: Pandoc wasn’t found. Please check that pandoc is installed:问题2

2016-07-01 10:13:29 36786 11

原创基于Python3 神经网络的实现

基于Python3的神经网络实现，实现从数据集生成到逻辑回归，再到3层神经网络实现，说明了实现原理和基础的理论知识，最后，通过多层次拟合说明了拟合程度的利弊。本项目的展示方式是Python的jupyter notebook。

2016-06-29 12:25:28 11479 4

OBS Mac版安装包下载 obs-mac-21.0.3-installer

OBS Mac版安装包下载 obs-mac-21.0.3-installer OBS Studio

2018-03-10

git 桌面版Mac版下载GitHubDesktopSetup

最新版 git 桌面版Mac 位下载GitHubDesktopSetup git 桌面版Mac 位下载GitHubDesktopSetup

2018-02-10

git 最新版下载 git windows 32位下载

最新版 Git-2.16.1-32-bit.exe git windows 34位下载 Git-2.16.1-32-bit.exe git windows 34位下载

2018-02-10

postgresql数据库建模工具pgmodeler-0.9.1-alpha1-demo-macos

postgresql 数据库建模工具 pgmodeler-0.9.1-alpha1-demo-macos

2018-01-19

.rncache React-Native 0.47第三方包

Mac os react native rncache https://github.com/facebook/react-native/blob/0.47-stable/scripts/ios-install-third-party.sh

2017-08-22

chrome64位windows版浏览器

chrome64位windows版浏览器官方下载，更新时间2016-10-5。。。版本持续更新

2016-10-05

Git64位windows版Git-2.10.1-64-bit.exe

Git64位windows版Git-2.10.1-64-bit.exe，最新版64位Git官方下载，持续更新（2016-10-5）。

2016-10-05

phantomjs-2.1.1-linux-x86_64.tar.bz2

atom markdown转换PDF 解决AssertionError: html-pdf: Failed to load PhantomJS module在用Atom转换PDF时，国内下载很容易失败，所以放上链接。需要的phantomjs-2.1.1-linux-x86_64.tar.bz2。这里是linux版本。放在/tmp/phantomjs.再执行npm install phantomjs-prebuilt。安装教程http://blog.csdn.net/dream_an/article/details/51800523

2016-07-15

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

OBS Mac版 安装包下载 obs-mac-21.0.3-installer

git 桌面版Mac版 下载GitHubDesktopSetup