大数据常用命令

http://dblab.xmu.edu.cn/blog/install-hbase/
http://dblab.xmu.edu.cn/blog/1102/ flume的安装使用教程
http://flume.apache.org/FlumeUserGuide#flume-sources 查看
https://blog.csdn.net/silangquan/article/details/8090121
https://blog.csdn.net/qq_38256924/article/details/79848232
向hdfs中上传文件的命令 hadoop fs -put ~/下载/temp.txt hdfs://zyt:9000/user/hadoop
hadoop fs -put ~/下载/score.txt hdfs://192.168.222.128:9000/zytdemo

hdfs文件下载到本地
./bin/hadoop fs -get /zytdemo/test.txt ~/下载
删除hdfs上的文件目录的命令 ./bin/hadoop fs -rmr /zytdemo/input
删除hdfs上的文件的命令 ./bin/hadoop fs -rm /zytdemo/test.txt

修改hadoop的文件夹的权限./bin/hadoop fs -chmod 777 /
查看hdfs上文件的内容 ./bin/hadoop fs -cat /user/lenovo/mkdirnew/word1.txt

linux下文件复制的命令sudo cp score.txt /usr/local

spark的使用命令
cd /usr/local/spark
./bin/spark-shell --master local[4]

比如，下面在命令提示符后面输入一个表达式“8 * 2 + 5”，然后回车，就会立即得到结果：
scala> 8*2+5
res0: Int = 21

最后，可以使用命令“:quit”退出Spark Shell，如下所示：
scala>:quit

下载

 

hive的启动命令 hive --service cli
新建mulu bin/hadoop fs -mkdir /user/hadoop/input

hbase的启动命令（启动之前要首先启动hadoop）
cd /usr/local/hbase
bin/start-hbase.sh
进入shell界面：
bin/hbase shell
停止HBase运行,命令如下
bin/stop-hbase.sh

mongodb数据库
http://dblab.xmu.edu.cn/blog/868-2/
脚本方式启动mongodb服务
cd /usr/local/mongodb
./bin/mongod -f /data/mongodb.conf

、进入mongodb shell模式

cd /usr/local/mongodb
./bin/mongo

redis数据库
http://dblab.xmu.edu.cn/blog/1513/#more-1513
zlq-virtual-machine
http://www.cnblogs.com/netqer/archive/2008/10/20/1315386.html

java爬虫
https://blog.csdn.net/huangxy10/article/details/8188067

转载于:https://www.cnblogs.com/zyt-bg/p/11448763.html