Linux大数据常用操作命令

普通命令：

rm -rf(删除目录)
rm -f(删除文件)
mv 文件 目标文件（移动或重命名）
tar -xf  ....tar
tar xvfz ....tgz
rpm -vih ....rpm
unzip .......zip
ipconfig (查看ip)
scp -r /etc/my.cnf root@10.9.39.13:/home/ （远程拷贝）
reboot （重启）
sz 文件名  （下载至windows）
rz -E  （上传至linux）
cp -ri /... /... （复制文件夹）
:/  （vim搜索）
pwd （当前路径）
cur http://localhost:9200  （发起一个http请求）
curl -XPUT http://cgcloud1:9200/index01  （新增）
groupadd es （创建用户组）
useradd es -g es -p es  （用户名 密码）
su es  （切换用户）
chown -R es:es elasticsearch-5.5.2/ （给某个应用使用es用户组）

 
Zookeeper命令： （协调器）

service iptables stop  （临时关防火墙）
jps (kill -9 xxxx)   （杀进程）
sh zkServer.sh start(status、stop)  （起服务器）
sh zkCli.sh start   （起客户端）
sh zkCli.sh  （进入客户端）
java -cp .:zookeeper-3.4.8.jar:slf4j-api-1.6.1.jar org.apache.zookeeper.server.LogFormatter ./log.500000000001  （java查看日志）
echo stat|nc 10.42.14.86 2181  (查看节点状态）
echo ruok|nc 10.42.14.86 2181  （判断节点存活状态）
echo conf|nc 10.42.14.86 2181  （查看节点配置）
echo kill|nc 10.42.14.86 2181  （关闭节点）

 

Mysql+Mycat命令：（主从复制读写分离）

quit
vim /etc/my.cnf (配置主从节点）
cd /var//lib/mysql   
service mysql start(restart/stop)   （启动mysql）
mysqladmin -u root password '123456' （设置mysql登录信息）
mysql  （运行mysql）
cp /usr/share/mysql/mysql.server /etc/init.d/mysqld （mysqld随机启动）
select * from user\G;  （连接用户竖向显示）
grant all on *.* to root@'%' identified by '123456'; （更改mysql用户权限）
 vim /root/.mysql_secret （许可秘钥）
 mysqladmin -u root -p password 123456 （改密码）

ElasticSearch命令： 9200

elasticsearch （启动）
grunt server （连接web server）
elasticsearch -d （后台启动）
cur http://localhost:9200 （测试启动）
vim /etc/security/limits.d/90-nproc.conf （修改用户最大可创建线程数）
vm.max_map_count = 655360 （扩大虚拟内存）
sysctl -p (查看是否生效）
cur http://localhost:9200  （发起一个http请求）
curl -XPUT http://cgcloud1:9200/index01  （新增）
curl -XPOST http://cgcloud1:9200/index01  （新增多个）
curl -XGET http://cgcloud1:9200/index01   （获取文档）

DSL:  curl -XPUT http://cgcloud1:9200/index01/_settings -d'{"blocks.read":"true"}' （限制读）
      curl -XGET http://cgcloud1:9200/index02   （查看具体索引）
      curl -XGET http://cgcloud1:9200/index01,haha,index02  （查看多个索引）
      curl -XPOST http://cgcloud1:9200/index01/_close  （关闭索引）_open  （-XDELETE删除索引）
      

 

Mycat命令：6680   （负载）
mycat console （运行mycat）

RabbiteMQ命令：5672   （队列）
erl （查看erlang版本）
yum -y install socat （安装socat）
**web管理应用访问端口：15672
**程序访问端口5672
cd /usr/share/doc
rabbitmq-plugins  enable rabbitmq_management （启动web应用插件）
cd /usr/lib/rabbitmq/bin
ps -ef|grep rabbit    （接上）
 ./rabbitmq-server  start  （启动rabbitmq）

 select regexp_replace(regexp_replace(info,'[*|&|@|%|#]',''),'[.][.]','.')from r1;

Hadoop命令  50070  9000  （分布式文件存储与分钟级处理）

start-all.sh  （启动hadoop）
hadoop fs -put a.txt / （传到根目录）
hadoop dfsadmin -safemode leave （强制退出安全模式）
hadoop namenode -format （格式化）
hdfs oev -i edits_0000000000000000001-0000000000000000001 -o edits.xml             （转换为xml文件查看）
hdfs oiv -i edits_0000000000000000001-0000000000000000001 -o edits.xml -p XML （转换为xml文件查看）
hadoop fs -mkdir /hadoopnode01   （创建）
hadoop fs -rm /hadoopnode01   （删除文件）
hadoop fs -rmdir /hadoopnode01   （删除目录）
hadoop fs -rmr /hadoopnode01   （删除非空目录-递归删除）
hadoop fs -put a.txt / （上传）
hadoop fs -getmerge /a demo.txt （将a中文件合并到demo）
hadoop fs -get /a.txt /指定存储命令（下载）
hadoop fs -ls / （查看根目录）
hadoop fs -lrs /  （递归查看）
hadoop fs -cat /a.txt （查看a中内容）
hadoop fs -tail /a.txt  （查看文件最后1000个字节）
hadoop jar  （运行jar包）

vim /etc/profile

Yarn  8088
start-dfs.sh

 

Flume命令:  （数据源、管道、目标数据预处理）

curl -X POST -d '[{"headers":{"a":"a1"},"body":hello http-flume"}]' http://10.42.98.91:8888  （发送http请求）
 ./flume-ng agent -n a1 -c ../conf -f ../conf/template.conf  -Dflume.root.logger=INFO,console （启动flume的conf文件）

 

 

Hive命令: （基于hadoop的数据仓库工具，将结构化的数据文件映射为一张数据库表  实现简单的mr统计 将HiveQL语句通过解释器转换为mr作业提交到hadoop）

sh hive （启动hive）
alter table flux add partition(reportTime='2018-12-29') location '/weblog/reportTime=2018-12-29'; （导入hdfs到hive）
select * from flux TABLESAMPLE(1 ROWS);  （查询具体数据）
create table dataclear(reporttime string,urlname string,uvid string,ssid string,sscount string,sstime string,cip string) row format delimited fields terminated by '|';  （数据清洗表）
desc flux;  （显示表结构）
select count(distinct uvid) from dataclear where reporttime='2018-12-29';  （uvid数）
sh hive -f 03.hive -d reportTime='date %G-%y-%d' （hive语句写进文件再调用）
sh hive -f 03.hive -d reportTime="2018-12-29"

Sqoop命令:  （导入导出工具）

sh sqoop export --connect jdbc:mysql://cgcloud1:3306/test --username root --password 123456 --export-dir '/user/hive/warehouse/park01.db/tb1' --table tb1 -m 1 --fields-terminated-by ' '

 

 

Hbase命令:  60010  （非结构化数据存储的数据库）

sh start-hbase.sh
sh hbase shell
list
truncate 'tb1' （清空表）

 

Phoenix命令   （类sql工具）

./sqlline.py cgcloud1,cgcloud2,cgcloud3:2181 （启动phoenix）

Storm命令 8080  （数据流毫秒级实时处理）

./storm nimbus >/dev/null 2>&1 & （后台启动主节点）
./storm supervisor >/dev/null 2>&1 &  （工作节点）
./storm ui >/dev/null 2>&1 &  （webUi进程 ）
./storm jar wordcount.jar cn.word.WordCountTopology

Kafka命令：（传输数据-消息队列）
sh kafka-server-start.sh ../config/server.properties  （启动kafka）
sh kafka-topics.sh --create --zookeeper cgcloud1:2181 --replication-factor 3 --partitions 1 --topic frbook  （创建topic-副本数-分区数）
sh kafka-topics.sh --list --zookeeper cgcloud1:2181  （所有topic）
sh kafka-console-producer.sh --broker-list cgcloud1:9092,cgcloud2:9092,cgcloud3:9092 --topic enbook （启动producer）
sh kafka-console-consumer.sh --zookeeper cgcloud1:2181 --topic enbook --from-beginning  （启动consumer）

Spark命令 4040  (sparkStreaming 秒级2.0之后毫秒级，不能达到一条一条记录的精细化处理，还是以batch为单位)
sh spark-shell --master=local  （启动）
val rdd2=sc.parallelize(a2,3)   （分区操作）
val rdd3=sc.makeRDD(Array(1,2,3,4),2) （分区创建）
rdd2.partitions.size  （分区个数）
rdd2.glom.collect  （分区信息）
r2.collect  （输出打印）
union （合并）
intersection  （相同）
 集群：
进入sbin start-all.sh
sh spark-shell --master spark://cgcloud1:7077