- 博客(5)
- 收藏
- 关注
RSS订阅转载 大数据最佳学习路线
一，题记要说当下IT行业什么最火？ABC无出其右。所谓ABC者，AI + Big Data + Cloud也，即人工智能、大数据和云计算(云平台)。每个领域目前都有行业领袖在引领前行，今天我们来讨论下大数据Big Data这个方向。二，大数据里面的角色角色一：大数据工程大数据工程需要解决数据的定义、收集、计算与保存的工作，因此大数据工程师们在设计和部署这样的系统时首要考虑的是数据高...
2018-07-21 15:24:34
261
转载 集群的时间同步
集群的时间同步：1、date -s ''2、ntpdate配置时间服务器：选定hadoop01做为时间服务器1、在hadoop01上安装ntp（ntpdate）2、设置ntpvi /etc/ntp.confrestrict 192.168.137.0 mask 255.255.255.0 nomodify notrap注释掉4条公网的服务：#server 0.centos...
2018-07-21 15:15:17
198
转载 HDFS案例——开发shell采集脚本
需求说明点击流日志每天都10T，在业务应用服务器上，需要准实时上传至数据仓库（Hadoop HDFS）上需求分析一般上传文件都是在凌晨24点操作，由于很多种类的业务数据都要在晚上进行传输，为了减轻服务器的压力，避开高峰期。如果需要伪实时的上传，则采用定时上传的方式 技术分析 HDFS SHELL: hadoop fs –put x...
2018-07-21 11:27:12
719
转载 rpm安装mysql5.5
1rpm -qa | grep -i mysql2 卸载已有的mysql库包rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_643用rpm方式安装mysql的server端 （man rpm 查看-ivh的具体意思）rpm -ivh ./MySQL-server-5.5.47-1.linux2.6.x86_64.rpm4用rpm方式安装mysq...
2018-07-20 19:08:10
508
转载 Hadoop2.6.4HA集群搭建
hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.6.4又增加了YARN HA注意：apache提供的hadoop-2.6.4的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hadoop-2.6.4就需要重新在64操作系统上重新编译（建议第一次安装用32位的系统，我将编译好的...
2018-07-20 18:54:36
195
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人