weixin_41407399的博客

最小化安装输入 ifconfig，发现没有网络，接下来需要配置网络输入vi /etc/sysconfig/network-script/ifcfg-eth0，修改文件输入service network restart 重启网络输入 ifconfig测试 ping www.baidu.com， 网络连接正常，配置成功...

首先安装一个远程连接工具，我这里使用的是xshell5修改windows本地映射进入C:\Windows\System32\drivers\etc，将hosts文件复制到桌面，在原文件夹下无法修改，使用记事本打开在最下面添加映射，映射地址与linux ip地址一致，ip地址和映射名中间隔一个空格，修改完将hosts文件覆盖到原文件夹打开xshell，新建会话，名称随意填写，主机填写刚刚设置的映射名...

首先创建5台虚拟机（最少三台），并且做好部署规划ip地址 主机名 安装软件 进程 192.168.xx.120 master jdk,hadoop,zookeeper namenode,ZKFC,Resourcemanager 192.168.xx.121 master2 jdk,hadoop,zookeeper namenode,ZKFC,Resourcemanager 192...

下载安装依赖包yum -y install lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool openssl-devel fuse-devel cmake使用root用户安装protobuf ，进入protobuf解压路径./configuremake && make install使用root用户安装sna...

首先用rmp –qa | grep mysql 查看是否有已经安装的mysql版本切换到root用户，卸载搜索出来的版本 rpm –e –nodeps mysql-libs-5.1.71-1.el6.x86_64再次查询rmp –qa | grep mysql，删除成功root用户下使用yum命令下载mysql  yum install mysql mysql-develmysql-serverm...

解压hive压缩包将hive目录下conf文件夹下 hive-env.sh.template 拷贝成 hive-env.sh，并增加四行内容在hive-env.sh增加四行内容exportHADOOP_HOME=/opt/modules/hadoop-2.5.0-cdh5.3.6exportHIVE_CONF_DIR=/opt/modules/hive-0.13.1-cdh5.3.6/confex...

由于没有网络日志，我们这里用之前写的python脚本爬取新浪微博热搜模拟产生日志文件，通过kafka和flume整合 将日志定时抽取到 spark上进行处理，微博热搜是十分钟更新一次，我们这里也设置十分钟的定时任务，具体步骤如下第一步编写python脚本获取微博热搜 实时排名，主题和url，然后运行测试，代码如下#!python2# -*- coding:utf-8 -*-import url...