- 博客(15)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 大数据学习系列11-Centos6.7下kafka_2.11-0.8.2.2集群安装部署
集群规划主机 IP 安装的软件 运行的进程mini2 192.168.33.62 jdk、kafka、zookeeper Kafka、QuorumPeerMainmini3 192.168.33.63 jdk...
2019-10-07 16:50:28
183
原创 大数据学习系列10-Centos6.7下storm-0.9.5集群安装部署
集群规划主机 IP 安装的软件 运行的进程mini1 192.168.33.61 jdk、storm nimbus、coremini2 192.168.33.62 j...
2019-10-06 17:08:47
153
原创 大数据分析以及机器学习的一些书籍
大数据相关的一些书籍https://download.csdn.net/download/wademylove/10801230 Hadoop技术内幕_深入解析HADOOP_COMMON和HDFS架构设计与实现原理https://download.csdn.net/download/wademylove/10801265 Hadoop技术内幕_深入解析MapReduce架构设计与实现原理...
2018-11-22 17:09:35
409
原创 大数据学习系列9-Centos6.7 hadoop-2.6.5下hbase-0.99.2集群的安装部署
集群规划 主机 IP 安装的软件 运行的进程mini1 192.168.33.61 jdk、hadoop、hbase NameNode、ResourceManager、SecondaryNameNode、HMa...
2018-11-11 22:01:38
202
原创 大数据学习系列8-Centos6.7 hadoop-2.6.5下sqoop-1.4.6的安装部署
安装sqoop的前提是已经具备java和hadoop的环境1、下载并解压下载地址http://archive.apache.org/dist/sqoop/1.4.6/ 2、修改配置文件$ cd $SQOOP_HOME/conf$ mv sqoop-env-template.sh sqoop-env.sh打开sqoop-env.sh并编辑下面几行：export HAD...
2018-11-03 09:15:51
160
原创 大数据学习系列7-Centos6.7 hadoop-2.6.5下工作流调度azkaban-2.5.0的安装部署
安装azkaban安装到mini1主机，mysql已安装在mini4主机。将安装文件上传到集群,最好上传到安装 hive、sqoop的机器上,方便命令的执行在当前用户目录下新建 azkabantools目录,用于存放源安装文件.新建azkaban目录,用于存放azkaban运行程序azkaban web服务器安装解压azkaban-web-server-2.5.0.tar.gz...
2018-10-08 08:37:50
205
原创 大数据学习系列6-Centos6.7 hadoop-2.6.5下flume-1.6.0的使用
1、flume的安装非常简单，只需要解压即可，当然，前提是已有hadoop环境上传安装包到数据源所在节点mini1上然后解压 tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /home/hadoop/apps/然后进入flume的目录，修改conf下的flume-env.sh，在里面配置JAVA_HOME2、根据数据采集的需求配置采集方案，描...
2018-09-18 19:50:58
201
原创 大数据学习系列5-Centos6.7 hadoop-2.6.5下hive-1.2.1的安装部署
Hive只需在集群的任一个节点上安装即可，本文放在集群的mini1中1.上传tar包2.解压tar -zxvf hive-1.2.1.tar.gz -C /home/hadoop/apps/3.配置hive，默认是内置的derby，本文选择mysql作为数据源的数据库，数据库安装在mini4主机中（a）配置HIVE_HOME环境变量 vi conf/hive-env.sh 配置...
2018-09-13 20:39:40
362
原创 大数据学习系列4-Centos6.7下hadoop-2.6.5 ha集群namenode水平扩展federation机制的部署
前期准备，可以参考上一篇大数据学习系列3-Centos6.7下搭建hadoop-2.6.5 ha集群https://blog.csdn.net/wademylove/article/details/81905276 集群规划：主机名 IP 安装的软件 运行的进程m...
2018-09-09 22:32:08
336
原创 大数据学习系列3-Centos6.7下搭建hadoop-2.6.5 ha集群
前期准备，可以参考上一篇大数据学习系列2-Centos6.7下搭建hadoop-2.6.5集群https://blog.csdn.net/wademylove/article/details/819439461.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系 /etc/hosts######注意######如果你们公司是租用的服务器或是使用的云主机（如华为用...
2018-09-04 21:22:17
242
原创 大数据学习系列2-Centos6.7下搭建hadoop-2.6.5集群
集群规划主机 IP 安装的软件 运行的进程mini1 192.168.33.61 jdk、hadoop NameNode、ResourceManager、SecondaryNameNodemini2 19...
2018-08-28 21:50:26
564
原创 MacOS IntelliJ IDEA导出Java 可执行Jar包
1打开File -> Project Structure，如图2.找到Artifacts，点击+，选择JAR，本例选中的是From modules with dependencies，如图3.设置模块Module以及主类Main CLass4.最后点击Build中的Build Artifacts...5.编译完成到相应目录即可找到jar包...
2018-08-05 22:11:03
1147
原创 大数据学习系列1-Centos6.7下zookeeper-3.4.12集群安装部署
服务器集群规划主机IP：192.168.33.61 192.168.33.62 192.168.33.63对应主机名：mini1 mini2 mini3先安装192.168.33.61主机上传安装文件zookeeper-3.4.12.tar.gz建立文件夹，放在apps/目录下解压： tar -zxvf zookeeper-3.4.12.tar.gz -C apps/重命名或者拷贝conf/目录下...
2018-07-11 11:32:26
168
原创 Mac OS VMware Fusion Centos6.7虚拟机 克隆以及网卡问题处理
vmware选择已经安装成功的虚拟机，创建完整克隆克隆完成克隆后地址冲突导致克隆后的虚拟机eth0网卡失效，虚拟机会自动生成一个eth1的网卡，需要修改才能正常上网首先查看当前网卡直接修改，/etc/sysconfig/network-script/ifcfg-eth0，删掉UUID、HWADDR，配置静态地址然后删除，/etc/udev/rules.d/70-persistent-net.rul...
2018-07-05 10:21:58
1177
原创 Mac OS VMware Fusion Centos6.7虚拟机 NAT网络设置
安装Centos6.7虚拟机后，虚拟机要访问外网，设置NAT网络。安装VMWare Fusion成功后，Mac OS会新增两张网卡vmnet1以及vmnet8，其中vmnet1是Host-only模式，vmnet8是NAT模式，这里选择vmnet8使用NAT进行网络设置。修改VMWare的vmnet8配置文件/Library/Preferences/VMware\ Fusion/networkin...
2018-05-15 11:22:52
6101
2
快学Scala中文版
2018-11-26
Hadoop技术内幕_深入解析YARN架构设计与实现原理
2018-11-22
Hadoop技术内幕_深入解析MapReduce架构设计与实现原理
2018-11-22
Spark机器学习
2018-11-22
Mahout实战中文版完整版
2018-11-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人