![](https://img-blog.csdnimg.cn/20190918140037908.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据 && Java 框架及组件等常用命令
大数据 && Java 框架及组件等常用命令
Eistert
文章大部分都是前人总结的知识点,我只是一个搬运工……
展开
-
大数据组件-MySQL常用命令(持续)
./mysqld --defaults-file=/etc/my.cnf --basedir=/usr/local/mysql/ --datadir=/data/cdh/mysql/ --user=cdh --initializesudo cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysql原创 2021-12-21 11:25:26 · 62 阅读 · 0 评论 -
大数据组件-ZooKeeper 常用命令(持续更新完善)
1. 启动ZK服务bin/zkServer.sh start2. 查看ZK服务状态bin/zkServer.sh status3. 停止ZK服务bin/zkServer.sh stop4. 重启ZK服务bin/zkServer.sh restart5. 连接服务器zkCli.sh -server 127.0.0.1:2181原创 2021-12-21 11:23:03 · 58 阅读 · 0 评论 -
大数据组件-Yarn常用命令(持续更新完善)
取消任务yarn application -kill application_1619409580125_0012查看任务日志导入到指定文件查看yarn logs -applicationId application_1619409580125_0007 > logs.txt直接在控制台上查看yarn logs -applicationId application_1619436641297_0001...原创 2021-12-21 11:23:36 · 191 阅读 · 0 评论 -
大数据组件-Sqoop常用命令(持续更新完善)
sqoop shell 操作sqoop导入mysql数据导入hdfs成功将mysql数据库中的 xxxdata_test 数据库中的 user 表数据导入到HDFS中的/user/cdh/xxxdata_test 目录下sqoop import \--connect jdbc:mysql://host_ip:3306/xxxdata_test \--username root \--password 123456 \--table user \--target-dir /user/cd原创 2021-12-21 11:24:40 · 134 阅读 · 0 评论 -
大数据组件-MongoDB常用命令(持续更新完善)
docker 启动mongo-shelldocker exec -it mymongo mongo使用test数据库use test查看test数据库中的集合show collections创建文件命令db.collection-name.insertOne(<document>,{ writeConcern:<document>})这里的writeConcern文档定义了本次文档创建操作的安全写级别简单来说,安全写级别用来判断一次原创 2021-12-21 11:23:59 · 238 阅读 · 0 评论 -
大数据组件-Maxwell常用命令(持续更新完善)
DownloadDownload binary distro: https://github.com/zendesk/maxwell/releases/download/v1.33.0/maxwell-1.33.0.tar.gzSources and bug tracking is available on github: https://github.com/zendesk/maxwellhomebrew:brew install maxwellConfigure$ vi my.cnf原创 2021-12-21 11:20:45 · 549 阅读 · 0 评论 -
大数据-大数据服务器环境运维常用命令-Centos7(持续更新完善)
查看服务器公网ipcurl cip.cc禁用用透明大页面压缩sudo echo never > /sys/kernel/mm/transparent_hugepage/defragsudo echo never > /sys/kernel/mm/transparent_hugepage/enabledsudo echo never > /sys/kernel/mm/transparent_hugepage/enabledsudo echo never > /sys/k原创 2021-12-20 10:51:36 · 843 阅读 · 0 评论 -
大数据组件-Hive常用命令(持续更新完善)
创建表employeecreate table if not exists employee (eid int,name String,salary String,destination String) comment 'employee details' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' STORED AS TEXTFILE;原创 2021-12-20 10:36:47 · 335 阅读 · 0 评论 -
大数据组件-Flume常用命令(持续更新完善)
配置文件#代理名称 tier1# Please paste flume.conf here. Example:# Sources, channels, and sinks are defined per# agent name, in this case 'tier1'.tier1.sources = source1tier1.channels = channel1tier1.sinks = sink1# For each source, channel, and sink, s原创 2021-12-20 10:33:42 · 519 阅读 · 0 评论 -
大数据组件-Flink 常用命令
使用Maven将自己的代码编译打包打好的包一般放在工程目录的target子文件夹下mvn clean packageflink run --class com.xxx.data.wordcount.WordCountKafkaInStdOut /data/cdh/test/flink-kafka-1.0-SNAPSHOT.jarsudo -u hdfs bin/flink run -m yarn-cluster -yjm 1024 -ytm 1024 --class com.xxx.data.原创 2021-12-20 10:29:08 · 559 阅读 · 0 评论 -
大数据组件-Flink-1.10.2源码编译常用命令(持续更新完善)
依赖<profile> <id>vendor-repos</id> <activation> <property> <name>vendor-repos</name> </property> </activation> <!-- Add vendor maven repositories原创 2021-12-20 10:26:10 · 668 阅读 · 0 评论 -
大数据组件-ElasticSearch 常用命令
###Docker安装 ElasticSearchdocker pull elasticsearch:7.12.0查看本地镜像列表docker images | grep elasticsearch运行镜像docker run --name elasticsearch -d -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.8.1原创 2021-12-20 10:20:31 · 629 阅读 · 0 评论 -
大数据组件-hdfs 常用命令
使用shell脚本导出数据库中的数据,上传至HDFS中mysql -u'user' -p'xxxx' -h 'host-ip' -e "select fuid,uid from video.follower_00"运行脚本sh collect_data_full.shsh collect_data_incr.sh查看数据命令hdfs dfs -ls /user/cdh/odshdfs dfs -cat /user/cdh/ods/user/20210413/part-m-00000 |原创 2021-12-20 10:16:44 · 1147 阅读 · 0 评论 -
Cloudera Manager常用命令(持续完善更新)
###取消任务yarn application -kill application_1619409580125_0012###查看任务日志导入到指定文件查看yarn logs -applicationId application_1619409580125_0007 > logs.txt直接在控制台上查看yarn logs -applicationId application_1619436641297_0001...原创 2021-12-20 10:12:00 · 324 阅读 · 0 评论 -
git或svn查看远程源地址
git查看:git remote -vsvn 查看svn info转载git或svn查看远程源地址https://www.cnblogs.com/jiwd/p/12504815.html转载 2021-12-08 14:16:32 · 1892 阅读 · 0 评论 -
svn-取消项目与远程svn服务的关联
方法一1、查看隐藏的文件2、将隐藏文件夹 .svn 删除刷新即可方法二终端进入到你项目中所在文件夹的根目录 然后在终端输入命令find . -type d -name ".svn" |xargs rm -rvf原创 2021-12-08 14:12:44 · 470 阅读 · 0 评论 -
Hadoop常用命令总结
1 查看指定目录下的内容hdfs dfs –ls [文件目录]hdfs dfs -ls -R / //显式目录结构eg: hdfs dfs –ls /user/wangkai.pt2.打开某个已存在文件hdfs dfs –cat [file_path]eg:hdfs dfs -cat /user/wangkai.pt/data.txt3.将本地文件存储至hadoop hdfs dfs –put [本地地址] [hadoop目录] hdf原创 2021-07-08 18:57:32 · 205 阅读 · 0 评论