- 博客(15)
- 资源 (11)
- 收藏
- 关注
原创 大数据学习系列11-Centos6.7下kafka_2.11-0.8.2.2集群安装部署
集群规划主机 IP 安装的软件 运行的进程mini2 192.168.33.62 jdk、kafka、zookeeper Kafka、QuorumPeerMainmini3 192.168.33.63 jdk...
2019-10-07 16:50:28 190
原创 大数据学习系列10-Centos6.7下storm-0.9.5集群安装部署
集群规划主机 IP 安装的软件 运行的进程mini1 192.168.33.61 jdk、storm nimbus、coremini2 192.168.33.62 j...
2019-10-06 17:08:47 157
原创 大数据分析以及机器学习的一些书籍
大数据相关的一些书籍https://download.csdn.net/download/wademylove/10801230 Hadoop技术内幕_深入解析HADOOP_COMMON和HDFS架构设计与实现原理https://download.csdn.net/download/wademylove/10801265 Hadoop技术内幕_深入解析MapReduce架构设计与实现原理...
2018-11-22 17:09:35 415
原创 大数据学习系列9-Centos6.7 hadoop-2.6.5下hbase-0.99.2集群的安装部署
集群规划 主机 IP 安装的软件 运行的进程mini1 192.168.33.61 jdk、hadoop、hbase NameNode、ResourceManager、SecondaryNameNode、HMa...
2018-11-11 22:01:38 209
原创 大数据学习系列8-Centos6.7 hadoop-2.6.5下sqoop-1.4.6的安装部署
安装sqoop的前提是已经具备java和hadoop的环境1、下载并解压下载地址http://archive.apache.org/dist/sqoop/1.4.6/ 2、修改配置文件$ cd $SQOOP_HOME/conf$ mv sqoop-env-template.sh sqoop-env.sh打开sqoop-env.sh并编辑下面几行:export HAD...
2018-11-03 09:15:51 169
原创 大数据学习系列7-Centos6.7 hadoop-2.6.5下工作流调度azkaban-2.5.0的安装部署
安装azkaban安装到mini1主机,mysql已安装在mini4主机。将安装文件上传到集群,最好上传到安装 hive、sqoop的机器上,方便命令的执行在当前用户目录下新建 azkabantools目录,用于存放源安装文件.新建azkaban目录,用于存放azkaban运行程序azkaban web服务器安装解压azkaban-web-server-2.5.0.tar.gz...
2018-10-08 08:37:50 217
原创 大数据学习系列6-Centos6.7 hadoop-2.6.5下flume-1.6.0的使用
1、flume的安装非常简单,只需要解压即可,当然,前提是已有hadoop环境上传安装包到数据源所在节点mini1上然后解压 tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /home/hadoop/apps/然后进入flume的目录,修改conf下的flume-env.sh,在里面配置JAVA_HOME2、根据数据采集的需求配置采集方案,描...
2018-09-18 19:50:58 211
原创 大数据学习系列5-Centos6.7 hadoop-2.6.5下hive-1.2.1的安装部署
Hive只需在集群的任一个节点上安装即可,本文放在集群的mini1中1.上传tar包2.解压tar -zxvf hive-1.2.1.tar.gz -C /home/hadoop/apps/3.配置hive,默认是内置的derby,本文选择mysql作为数据源的数据库,数据库安装在mini4主机中(a)配置HIVE_HOME环境变量 vi conf/hive-env.sh 配置...
2018-09-13 20:39:40 367
原创 大数据学习系列4-Centos6.7下hadoop-2.6.5 ha集群namenode水平扩展federation机制的部署
前期准备,可以参考上一篇大数据学习系列3-Centos6.7下搭建hadoop-2.6.5 ha集群https://blog.csdn.net/wademylove/article/details/81905276 集群规划:主机名 IP 安装的软件 运行的进程m...
2018-09-09 22:32:08 350
原创 大数据学习系列3-Centos6.7下搭建hadoop-2.6.5 ha集群
前期准备,可以参考上一篇大数据学习系列2-Centos6.7下搭建hadoop-2.6.5集群https://blog.csdn.net/wademylove/article/details/819439461.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系 /etc/hosts######注意######如果你们公司是租用的服务器或是使用的云主机(如华为用...
2018-09-04 21:22:17 249
原创 大数据学习系列2-Centos6.7下搭建hadoop-2.6.5集群
集群规划主机 IP 安装的软件 运行的进程mini1 192.168.33.61 jdk、hadoop NameNode、ResourceManager、SecondaryNameNodemini2 19...
2018-08-28 21:50:26 568
原创 MacOS IntelliJ IDEA导出Java 可执行Jar包
1打开File -> Project Structure,如图2.找到Artifacts,点击+,选择JAR,本例选中的是From modules with dependencies,如图3.设置模块Module以及主类Main CLass4.最后点击Build中的Build Artifacts...5.编译完成到相应目录即可找到jar包...
2018-08-05 22:11:03 1160
原创 大数据学习系列1-Centos6.7下zookeeper-3.4.12集群安装部署
服务器集群规划主机IP:192.168.33.61 192.168.33.62 192.168.33.63对应主机名:mini1 mini2 mini3先安装192.168.33.61主机上传安装文件zookeeper-3.4.12.tar.gz建立文件夹,放在apps/目录下解压: tar -zxvf zookeeper-3.4.12.tar.gz -C apps/重命名或者拷贝conf/目录下...
2018-07-11 11:32:26 170
原创 Mac OS VMware Fusion Centos6.7虚拟机 克隆以及网卡问题处理
vmware选择已经安装成功的虚拟机,创建完整克隆克隆完成克隆后地址冲突导致克隆后的虚拟机eth0网卡失效,虚拟机会自动生成一个eth1的网卡,需要修改才能正常上网首先查看当前网卡直接修改,/etc/sysconfig/network-script/ifcfg-eth0,删掉UUID、HWADDR,配置静态地址然后删除,/etc/udev/rules.d/70-persistent-net.rul...
2018-07-05 10:21:58 1197
原创 Mac OS VMware Fusion Centos6.7虚拟机 NAT网络设置
安装Centos6.7虚拟机后,虚拟机要访问外网,设置NAT网络。安装VMWare Fusion成功后,Mac OS会新增两张网卡vmnet1以及vmnet8,其中vmnet1是Host-only模式,vmnet8是NAT模式,这里选择vmnet8使用NAT进行网络设置。修改VMWare的vmnet8配置文件/Library/Preferences/VMware\ Fusion/networkin...
2018-05-15 11:22:52 6115 2
快学Scala中文版
2018-11-26
Hadoop技术内幕_深入解析YARN架构设计与实现原理
2018-11-22
Hadoop技术内幕_深入解析MapReduce架构设计与实现原理
2018-11-22
Spark机器学习
2018-11-22
Mahout实战中文版完整版
2018-11-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人