linux相关操作

pip install geopandas shapely pymysql pandas sklearn geopy  -i https://repository.walmart.com/repository/pypi-proxy/simple/
python 镜像路径  pip -i https://repository.walmart.com/repository/pypi-proxy/simple/


fslhive --hiveconf tez.queue.name=samsreport -f 

/u/app/data/flink-1.13.1/conf


echo "export PATH=\"/tmp/vn55gxn/util:\$PATH\"  >>


echo "export PATH=\"/tmp/vn53dx6/util:\$PATH\" " >> ~/.bash_profile


ps -ef | grep dws_item_sams_item_store_status_label_df_shuashu_04_13.sh
ps aux | grep 

ps -ef | grep dws_item.sh
ps -ef | grep dws_item_store.sh


pgrep -f 

kill -9  $2/

--创建长期后台窗口
screen -S name
screen -ls

--进入已有窗口
screen -r name  

--退出
screen -S name -X quit

application_1692617869227_822691


授权：
dzdo su - svccnbsns   生产授权


dzdo su - svcvmmgt

ps -ef | grep dws_item_sams_item_store_status_label_df_shuashu_04_13.sh
kill -9  $2


yarn application -kill application_1679531674650_221595
yarn application -kill application_1692617869227_820316
yarn application -kill application_1692617869227_822691
yarn application -kill application_1692617869227_961808
yarn application -kill application_1692617869227_1268499

实时显示文件
tail -f -n 30 1.sh

hdfs常用命令：

第一部分：hdfs文件系统命令

第一类：文件路径增删改查系列：

hdfs dfs -mk   创建文件夹

hdfs dfs -rmr   删除文件夹

hdfs dfs -ls  查看目录文件信息 

hdfs dfs -lsr  递归查看文件目录信息

hdfs dfs -stat path 返回指定路径的信息

 hdfs dfs -du -h  /user/hive/warehouse/cn_ads_dev_dl_tmp.db/

第二类：空间大小查看系列命令：

hdfs dfs -du -h  按照适合阅读的形式人性化显示文件大小

hdfs dfs -dus uri  递归显示目标文件的大小

hdfs dfs -du path/file显示目标文件file的大小

hdfs dfs -du -h hdfs://cnprod1ha
hdfs dfs -du -h hdfs://cnprod1ha/user/svccnbsns/sqoop
hdfs dfs -du -h hdfs://cnprod1ha/warehouse/tablespace/external/hive/cn_dim_dl_tables.db/dim_item_hyper_info_all_df/ts=2023-06-*
hdfs dfs -du -h hdfs://cnprod1ha/warehouse/tablespace/external/hive/cn_ads_dl_tables.db/ads_item_sams_cbec_category_analysis_mf
hdfs dfs -du -h hdfs://cnprod1ha/warehouse/tablespace/external/hive/cn_ads_dev_dl_tables.db/ads_item_sams_mod_plan_itemgroup_info_df

hdfs dfs -du -h  hdfs://cnprod1ha/warehouse/tablespace/external/hive/cn_dw_dl_tables.db/dws_item_sams_cbec_store_sales_info_di

hdfs dfs -du -h hdfs://cnprod1ha/warehouse/tablespace/external/hive/cn_ads_dev_dl_tables.db/ads_item_sams_cebc_business_sales_info_di/ts=2022-*-*/*
hdfs dfs -du -h hdfs://cnprod1ha/warehouse/tablespace/external/hive/cn_ads_dev_dl_tables.db/ads_item_sams_cebc_business_sales_info_di/ts=*/*
hdfs dfs -du -h hdfs://cnprod1ha/warehouse/tablespace/external/hive/cn_ads_dev_dl_tables.db/ads_item_sams_cbec_business_sales_info_di/
hdfs dfs -du -h hdfs://cnprod1ha/warehouse/tablespace/external/hive/cn_ads_dev_dl_tables.db/ads_item_sams_cbec_business_sales_info_di/.hive-staging_hive_2023-03-28_02-35-14_533_7706989148675830693-10840/
hdfs dfs -du -h   hdfs://cnprod1ha/warehouse/tablespace/external/hive/cn_ads_dev_dl_tables.db/ads_item_sams_otb_stage_sales_info_wi/ts=*
hdfs dfs -du -h  /warehouse/tablespace/external/hive/cn_dw_dl_secure.db/dwd_order_item_dtl_di/ts=2022-09-01

hdfs dfs -du -h  hdfs://cnprod1ha/warehouse/tablespace/external/hive/cn_ads_dev_dl_tables.db/ads_item_sams_cbec_sales_analysis_df/ts=*


hdfs dfs -du -h  /warehouse/tablespace/external/hive/cn_dim_dl_tables.db/dim_item_hyper_info_all_df/ts=2023-05-01
hdfs dfs -du -h  hdfs://cnprod1ha/warehouse/tablespace/external/hive/cn_dim_dl_tables.db/dim_item_hyper_info_all_df/ts=2023-05-01
cn_dim_dl_tables.dim_item_hyper_info_all_df

hdfs dfs -ls  hdfs://cnprod1ha/warehouse/tablespace/external/hive/cn_dim_dl_tables.db/dim_item_hyper_info_all_df/ts=2023-05-01

第三类:权限管理类：

hdfs dfs -chgrp  group path  改变文件所属组

hdfs dfs -chgrp -R /  递归更改目录的所属组

hdfs dfs -chmod [-R] 权限 -path  改变文件的权限

hdfs dfs -chown owner[-group] / 改变文件的所有者

hdfs dfs -chown -R  owner[-group] /  递归更改目录的所属用户

 

第四类：文件操作（上传下载复制）系列：

hdfs dfs -touchz a.txt 创建长度为0的空文件a.txt

hdfs dfs -rm file   删除文件file

hdfs dfs -put file   向文件上传file文件

hdfs dfs -put filea /fileb 向上传文件filea并且把filea改名为fileb

hdfs dfs -get file   下载file到本地文件夹

hdfs dfs -getmerge hdfs://Master:9000/data/SogouResult.txt CombinedResult  把hdfs里面的多个文件合并成一个文件，合并后文件位于本地系统

hdfs dfs -cat file   查看文件file

hdfs fs -text //a.txt  如果文件是文本格式，相当于cat，如果文件是压缩格式，则会先解压，再查看

hdfs fs -tail //a.txt查看目录下面a.txt文件的最后1000字节

hdfs dfs -copyFromLocal localsrc path 从本地复制文件

hdfs dfs -copyToLocal /hdfs/a.txt /local/a.txt  从hdfs拷贝到本地

hdfs dfs -copyFromLocal //source //target  把文件从原路径拷贝到目标路径

hdfs dfs -mv /path/a.txt /path/b.txt 把文件从a目录移动到b目录，可用于回收站恢复文件

 

第五类：判断系列：

hdfs fs -test -e //a.txt 判断文件是否存在，正0负1

hdfs fs -test -d /  判断是否为目录，正0负1

hdfs fs -test -z //a.txt  判断文件是否为空，正0负1

 

第六类：系统功能管理类：

hdfs dfs -expunge 清空回收站

hdfs dfsadmin -safemode enter 进入安全模式

hdfs dfsadmin -sfaemode leave 离开安全模式

hdfs dfsadmin -decommission datanodename 关闭某个datanode节点

hdfs dfsadmin -finalizeUpgrade 终结升级操作

hdfs dfsadmin -upgradeProcess status 查看升级操作状态

hdfs version 查看hdfs版本

hdfs daemonlog -getlevel <host:port> <name>  打印运行在<host:port>的守护进程的日志级别

hdfs daemonlog -setlevel <host:port> <name> <level>  设置运行在<host:port>的守护进程的日志级别

hdfs dfs -setrep -w 副本数 -R path 设置文件的副本数

 

第二部分：运维命令

start-dfs.sh   启动namenode，datanode，启动文件系统

stop-dfs.sh   关闭文件系统

start-yarn.sh  启动resourcemanager,nodemanager

stop-yarn.sh  关闭resourcemanager,nodemanager

start-all.sh    启动hdfs，yarn

stop-all.sh    关闭hdfs，yarn

hdfs-daemon.sh start datanode  单独启动datanode

start-balancer.sh -t 10% 启动负载均衡，尽量不要在namenode节点使用

hdfs namenode -format  格式化文件系统

hdfs namenode -upgrade  分发新的hdfs版本之后，namenode应以upgrade选项启动

hdfs namenode -rollback  将namenode回滚到前一版本，这个选项要在停止集群，分发老的hdfs版本之后执行

hdfs namenode -finalize  finalize会删除文件系统的前一状态。最近的升级会被持久化，rollback选项将再不可用，升级终结操作之后，它会停掉namenode，分发老的hdfs版本后使用

hdfs namenode importCheckpoint 从检查点目录装载镜像并保存到当前检查点目录，检查点目录由fs.checkpoint.指定

 

第三部分：mapreduce命令

hdfs jar file.jar 执行jar包程序

hdfs job -kill job_201005310937_0053  杀死正在执行的jar包程序

hdfs job -submit <job-file>  提交作业

hdfs job -status <job-id>   打印map和reduce完成百分比和所有计数器。

hdfs job -counter <job-id> <group-name> <counter-name>  打印计数器的值。

hdfs job -kill <job-id>  杀死指定作业。

hdfs job -events <job-id> <from-event-#> <#-of-events> 打印给定范围内jobtracker接收到的事件细节。

hdfs job -history [all] <jobOutput>     

hdfs job -history <jobOutput> 打印作业的细节、失败及被杀死原因的细节。更多的关于一个作业的细节比如成功的任务，做过的任务尝试等信息可以通过指定[all]选项查看。

hdfs job -list [all]  显示所有作业。-list只显示将要完成的作业。

hdfs job -kill -task <task-id>   杀死任务。被杀死的任务不会不利于失败尝试。

hdfs job -fail -task <task-id>   使任务失败。被失败的任务会对失败尝试不利。

 

第四部分：hdfs系统检查工具fsck

hdfs fsck <path> -move    移动受损文件到/lost+found

hdfs fsck <path> -delete   删除受损文件。

hdfs fsck <path> -openforwrite   打印出写打开的文件。

hdfs fsck <path> -files     打印出正被检查的文件。

hdfs fsck <path> -blocks     打印出块信息报告。

hdfs fsck <path> -locations     打印出每个块的位置信息。

hdfs fsck <path> -racks    打印出data-node的网络拓扑结构。

 

第五部分：运行pipies作业

hdfs pipes -conf <path> 作业的配置

hdfs pipes -jobconf <key=value>, <key=value>, ...  增加/覆盖作业的配置项

hdfs pipes -input <path>  输入目录

hdfs pipes -output <path> 输出目录

hdfs pipes -jar <jar file> Jar文件名

hdfs pipes -inputformat <class> InputFormat类

hdfs pipes -map <class> Java Map类

hdfs pipes -partitioner <class> Java Partitioner

hdfs pipes -reduce <class> Java Reduce类

hdfs pipes -writer <class> Java RecordWriter

hdfs pipes -program <executable> 可执行程序的URI