- 博客(5)
- 收藏
- 关注
RSS订阅转载 大数据最佳学习路线
一，题记 要说当下IT行业什么最火？ABC无出其右。所谓ABC者，AI + Big Data + Cloud也，即人工智能、大数据和云计算(云平台)。每个领域目前都有行业领袖在引领前行，今天我们来讨论下大数据Big Data这个方向。 二，大数据里面的角色 角色一：大数据工程 大数据工程需要解决数据的定义、收集、计算与保存的工作，因此大数据工程师们在设计和部署这样的系统时首要考虑的是数据高...
2018-07-21 15:24:34
228
转载 集群的时间同步
集群的时间同步： 1、date -s '' 2、ntpdate 配置时间服务器： 选定hadoop01做为时间服务器 1、在hadoop01上安装ntp（ntpdate） 2、设置ntp vi /etc/ntp.conf restrict 192.168.137.0 mask 255.255.255.0 nomodify notrap 注释掉4条公网的服务： #server 0.centos...
2018-07-21 15:15:17
168
转载 HDFS案例——开发shell采集脚本
需求说明 点击流日志每天都10T，在业务应用服务器上，需要准实时上传至数据仓库（Hadoop HDFS）上 需求分析 一般上传文件都是在凌晨24点操作，由于很多种类的业务数据都要在晚上进行传输，为了减轻服务器的压力，避开高峰期。 如果需要伪实时的上传，则采用定时上传的方式 技术分析 HDFS SHELL: hadoop fs –put x...
2018-07-21 11:27:12
709
转载 rpm安装mysql5.5
1 rpm -qa | grep -i mysql 2 卸载已有的mysql库包 rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64 3用rpm方式安装mysql的server端 （man rpm 查看-ivh的具体意思） rpm -ivh ./MySQL-server-5.5.47-1.linux2.6.x86_64.rpm 4用rpm方式安装mysq...
2018-07-20 19:08:10
480
转载 Hadoop2.6.4HA集群搭建
hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.6.4又增加了YARN HA 注意：apache提供的hadoop-2.6.4的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库， 所以如果在64位的操作上安装hadoop-2.6.4就需要重新在64操作系统上重新编译 （建议第一次安装用32位的系统，我将编译好的...
2018-07-20 18:54:36
166
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人