weixin_45191282的博客

原创 WordCount的MapReduce用法

1、启动已经搭建好的hdfs集群:start-dfs.sh2、打开web端http://www.fxb1:50070/3、将事先写好的mapreducer打成jar包代码部分Mapper部分reducer部分main主类4、打jar包5、上传到集群运行(1)上传要处理的数据a.txt b.txthadoop fs -put a.txt /user/fxb1/in...

转载 Linux服务器jps报process information unavailable

在Linux下执行 jps 是快速查看Java程序进程的命令，一般情况下hadoop，hbase，storm等进程都是通过jps查看，有些时候因为进程没有被正常结束，比如资源占用过大时挂掉或者没有结束进程就直接重启计算机，会导致原有进程变为-- process information unavailable这样的空值，有时候不用管它，一段时间后会自动消失，如果一直不消失的情况下，可以使用如下方法清...

原创 关于hadoop无法正常打开8080端口的问题解决

(在linux配置好域名映射和免密登录后进行)主机1：fxb1 192.168.33.101主机2：fxb2 192.168.33.102主机3：fxb3 192.168.33.1031、启动yarn集群start-yarn.sh发现jps可以正常启动，但是在web网页上却无法显示2、进入hadoop配置文件cd .opt/sxt/hadoop-2.6.5/etc/hadoop...

原创 python简单快速入门（建议有代码基础的看）

一、看完这个，你就可以试着进一步学习连接数据库、文件、线程等难点部分```python# 第一个注释""" 注释1"""''' 注释2'''# 行与缩进print("判断开始")if True: print("True")else: print("False")print("判断结束")# 多行语句 在 () [] {}就不用反斜杠'\...

原创 hbase集群搭建

一、java环境1、检查好是否成功安装并配置好java环境本地 路径是 /usr/java/jdk1.8.0_141设置软连接ln -s /usr/java/jdk1.8.0_141 /usr/java/later配置本地环境变量（已经配置好hdfs hive zookeeper yarn）vi /etc/profileexport JAVA_HOME=/usr/java/later...

原创 zookeeper集群部署

1、下载 zookeeper-3.4.6.tar2、tar -zxvf zookeeper-3.4.6.tar /opt/sxt 解压文件到指定目录3、cd /opt/wx/zookeeper-3.4.6/rm -rf dos/ src/ 删除不必要的文件夹dos 是文档 src是原码包4、cd conf/ 修改配置文件cp zoo_sample.cfg zoo.cfg...

原创 hive集群部署

单用户模式（mysql）这种存储方式需要在本地运行一个mysql服务器，并作如下配置（下面两种使用mysql的方式，需要将mysql的jar包拷贝到$HIVE_HOME/lib目录下）。<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <...

原创 mysql 安装设置

yum install mysql-server安装mysqlservice mysqld start启动mysql服务mysql -u root管理员身份进入mysqluse mysql;使用mysql库update user set password=password(‘root’) where user=‘root’;设置用户名和密码grant all privilege...

转载 [linux]centos7下解决yum install mysql-server没有可用包

原创 如何搭建hdfs集群和yarn集群

1，jdk安装，配置环境变量vi /etc/profile2，ssh免密钥（本机）ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys3，上传hadoop.tar.gz到服务器解压tar zxvf，mv hadoop-2.6.5 /opt/sxtvi ...

原创 SCP命令传输文件

SCP介于多台主机间传输文件（设置好免密登录和域名映射后）以主机名 node1传输给node2,node3为例1、按node1原文件路径发送给其他主机scp -r hadoop-2.6.5 node02:pwdscp -r hadoop-2.6.5 node03:pwd2、设计接受主机文件路径scp -r hadoop-2.6.5 node02:接收路径scp -r hadoo...