Linux大数据常用操作命令

普通命令

rm -rf(删除目录)
rm -f(删除文件)
mv 文件 目标文件(移动或重命名)
tar -xf  ....tar
tar xvfz ....tgz
rpm -vih ....rpm
unzip .......zip
ipconfig (查看ip)
scp -r /etc/my.cnf root@10.9.39.13:/home/ (远程拷贝)
reboot (重启)
sz 文件名  (下载至windows)
rz -E  (上传至linux)
cp -ri /... /... (复制文件夹)
:/  (vim搜索)
pwd (当前路径)
cur http://localhost:9200  (发起一个http请求)
curl -XPUT http://cgcloud1:9200/index01  (新增)
groupadd es (创建用户组)
useradd es -g es -p es  (用户名 密码)
su es  (切换用户)
chown -R es:es elasticsearch-5.5.2/ (给某个应用使用es用户组)

 
Zookeeper命令: (协调器)

service iptables stop  (临时关防火墙)
jps (kill -9 xxxx)   (杀进程)
sh zkServer.sh start(status、stop)  (起服务器)
sh zkCli.sh start   (起客户端)
sh zkCli.sh  (进入客户端)
java -cp .:zookeeper-3.4.8.jar:slf4j-api-1.6.1.jar org.apache.zookeeper.server.LogFormatter ./log.500000000001  (java查看日志)
echo stat|nc 10.42.14.86 2181  (查看节点状态)
echo ruok|nc 10.42.14.86 2181  (判断节点存活状态)
echo conf|nc 10.42.14.86 2181  (查看节点配置)
echo kill|nc 10.42.14.86 2181  (关闭节点)

 

Mysql+Mycat命令:(主从复制读写分离)

quit
vim /etc/my.cnf (配置主从节点)
cd /var//lib/mysql   
service mysql start(restart/stop)   (启动mysql)
mysqladmin -u root password '123456' (设置mysql登录信息)
mysql  (运行mysql)
cp /usr/share/mysql/mysql.server /etc/init.d/mysqld (mysqld随机启动)
select * from user\G;  (连接用户竖向显示)
grant all on *.* to root@'%' identified by '123456'; (更改mysql用户权限)
 vim /root/.mysql_secret (许可秘钥)
 mysqladmin -u root -p password 123456 (改密码)


ElasticSearch命令: 9200

elasticsearch (启动)
grunt server (连接web server)
elasticsearch -d (后台启动)
cur http://localhost:9200 (测试启动)
vim /etc/security/limits.d/90-nproc.conf (修改用户最大可创建线程数)
vm.max_map_count = 655360 (扩大虚拟内存)
sysctl -p (查看是否生效)
cur http://localhost:9200  (发起一个http请求)
curl -XPUT http://cgcloud1:9200/index01  (新增)
curl -XPOST http://cgcloud1:9200/index01  (新增多个)
curl -XGET http://cgcloud1:9200/index01   (获取文档)

DSL:  curl -XPUT http://cgcloud1:9200/index01/_settings -d'{"blocks.read":"true"}' (限制读)
      curl -XGET http://cgcloud1:9200/index02   (查看具体索引)
      curl -XGET http://cgcloud1:9200/index01,haha,index02  (查看多个索引)
      curl -XPOST http://cgcloud1:9200/index01/_close  (关闭索引)_open  (-XDELETE删除索引)
      

 

Mycat命令:6680   (负载)
mycat console (运行mycat)


RabbiteMQ命令:5672   (队列)
erl (查看erlang版本)
yum -y install socat (安装socat)
**web管理应用访问端口:15672
**程序访问端口5672
cd /usr/share/doc
rabbitmq-plugins  enable rabbitmq_management (启动web应用插件)
cd /usr/lib/rabbitmq/bin
ps -ef|grep rabbit    (接上)
 ./rabbitmq-server  start  (启动rabbitmq)


 select regexp_replace(regexp_replace(info,'[*|&|@|%|#]',''),'[.][.]','.')from r1;


Hadoop命令  50070  9000  (分布式文件存储与分钟级处理)

start-all.sh  (启动hadoop)
hadoop fs -put a.txt / (传到根目录)
hadoop dfsadmin -safemode leave (强制退出安全模式)
hadoop namenode -format (格式化)
hdfs oev -i edits_0000000000000000001-0000000000000000001 -o edits.xml             (转换为xml文件查看)
hdfs oiv -i edits_0000000000000000001-0000000000000000001 -o edits.xml -p XML (转换为xml文件查看)
hadoop fs -mkdir /hadoopnode01   (创建)
hadoop fs -rm /hadoopnode01   (删除文件)
hadoop fs -rmdir /hadoopnode01   (删除目录)
hadoop fs -rmr /hadoopnode01   (删除非空目录-递归删除)
hadoop fs -put a.txt / (上传)
hadoop fs -getmerge /a demo.txt (将a中文件合并到demo)
hadoop fs -get /a.txt /指定存储命令(下载)
hadoop fs -ls / (查看根目录)
hadoop fs -lrs /  (递归查看)
hadoop fs -cat /a.txt (查看a中内容)
hadoop fs -tail /a.txt  (查看文件最后1000个字节)
hadoop jar  (运行jar包)

vim /etc/profile

Yarn  8088
start-dfs.sh

 

Flume命令:  (数据源、管道、目标数据预处理)

curl -X POST -d '[{"headers":{"a":"a1"},"body":hello http-flume"}]' http://10.42.98.91:8888  (发送http请求)
 ./flume-ng agent -n a1 -c ../conf -f ../conf/template.conf  -Dflume.root.logger=INFO,console (启动flume的conf文件)

 

 

Hive命令: (基于hadoop的数据仓库工具,将结构化的数据文件映射为一张数据库表  实现简单的mr统计 将HiveQL语句通过解释器转换为mr作业提交到hadoop)

sh hive (启动hive)
alter table flux add partition(reportTime='2018-12-29') location '/weblog/reportTime=2018-12-29'; (导入hdfs到hive)
select * from flux TABLESAMPLE(1 ROWS);  (查询具体数据)
create table dataclear(reporttime string,urlname string,uvid string,ssid string,sscount string,sstime string,cip string) row format delimited fields terminated by '|';  (数据清洗表)
desc flux;  (显示表结构)
select count(distinct uvid) from dataclear where reporttime='2018-12-29';  (uvid数)
sh hive -f 03.hive -d reportTime='date %G-%y-%d' (hive语句写进文件再调用)
sh hive -f 03.hive -d reportTime="2018-12-29"


Sqoop命令:  (导入导出工具)

sh sqoop export --connect jdbc:mysql://cgcloud1:3306/test --username root --password 123456 --export-dir '/user/hive/warehouse/park01.db/tb1' --table tb1 -m 1 --fields-terminated-by ' '

 

 

Hbase命令:  60010  (非结构化数据存储的数据库)

sh start-hbase.sh
sh hbase shell
list
truncate 'tb1' (清空表)

 

Phoenix命令   (类sql工具)

./sqlline.py cgcloud1,cgcloud2,cgcloud3:2181 (启动phoenix)


Storm命令 8080  (数据流毫秒级实时处理)

./storm nimbus >/dev/null 2>&1 & (后台启动主节点)
./storm supervisor >/dev/null 2>&1 &  (工作节点)
./storm ui >/dev/null 2>&1 &  (webUi进程 )
./storm jar wordcount.jar cn.word.WordCountTopology


Kafka命令:(传输数据-消息队列)
sh kafka-server-start.sh ../config/server.properties  (启动kafka)
sh kafka-topics.sh --create --zookeeper cgcloud1:2181 --replication-factor 3 --partitions 1 --topic frbook  (创建topic-副本数-分区数)
sh kafka-topics.sh --list --zookeeper cgcloud1:2181  (所有topic)
sh kafka-console-producer.sh --broker-list cgcloud1:9092,cgcloud2:9092,cgcloud3:9092 --topic enbook (启动producer)
sh kafka-console-consumer.sh --zookeeper cgcloud1:2181 --topic enbook --from-beginning  (启动consumer)

Spark命令 4040  (sparkStreaming 秒级2.0之后毫秒级,不能达到一条一条记录的精细化处理,还是以batch为单位)
sh spark-shell --master=local  (启动)
val rdd2=sc.parallelize(a2,3)   (分区操作)
val rdd3=sc.makeRDD(Array(1,2,3,4),2) (分区创建)
rdd2.partitions.size  (分区个数)
rdd2.glom.collect  (分区信息)
r2.collect  (输出打印)
union (合并)
intersection  (相同)
 集群:
进入sbin start-all.sh
sh spark-shell --master spark://cgcloud1:7077

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值