![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
工程化问题
cymx66688
人生苦短,我用Python
展开
-
Mac给环境变量起别名
1.打开mac终端。在启动台->其他->终端2.编辑~/.bashrcvi ~/.bashrc3.添加别名alias pip='/Users/用户名/anaconda3/bin/pip'4.激活文件source ~/.bashrc完原创 2021-04-23 18:02:13 · 489 阅读 · 0 评论 -
mysql中千万级数据迁移
步骤:一、数据下载mysqldump -u [用户名] -h[主机] -P [端口号] -p['密码'] 数据库名称 表名> 保存路径如:mysqldump -u dev -h192.168.101.100 -P 3306 -p’123456’ datacenter_dev edu_employment > sql/edu_employment_record.sql二、数据迁移1. 连接MySQLmysql -h[主机] -u[用户名] -P[端口号] -p['密码']2. 连原创 2021-04-15 10:39:23 · 402 阅读 · 0 评论 -
GPU详细信息
命令:nvidia-smi完原创 2021-04-15 10:24:42 · 150 阅读 · 0 评论 -
Spark集群中python文件调用命令
调用命令绝对路径/spark2-submit \--master yarn \--executor-memory 5G \--executor-cores 5 \--num-executors 10 \--driver-memory 4G \--conf spark.executor.memoryOverhead=2048 \--conf spark.core.connection.ack.wait.timeout=300 \--conf "spark.executor.extraJ原创 2021-04-15 10:22:45 · 242 阅读 · 0 评论 -
tmux命令
启动新会话RunScripts :tmux new -s RunScripts -d恢复会话:tmux a -t RunScripts列出所有会话:tmux ls关闭会话:tmux kill-session -t 会话名关闭所有会话:tmux ls | grep : | cut -d. -f1 | awk ‘{print substr($1, 0, length($1)-1)}’ | xargs kill暂时返回shell界面Ctrl+B+DCtrl+B+% 垂直分割当前窗格Ctr原创 2021-04-15 10:19:27 · 112 阅读 · 0 评论 -
将postgresql数据库中的表复制并拷贝至另一台服务器数据库上
一、复制PG数据库中的表,保存到当前服务器上1. 用root用户su - root 密码,然后su - gpadmin2. 进入pg数据库psql 数据库名称3. 拷贝COPY (SELECT * FROM 表名 limit 10000) TO 地址 HEADER CSV;4. 退出按Ctrl+D退出pg数据库二、将表拷贝到另一台服务器的数据库上1. 拷贝到另一台服务器上数据将表放在/tmp中psql -p 端口 -U 用户 数据库名称copy 表名 from ‘地址’原创 2021-04-13 16:04:46 · 3918 阅读 · 0 评论 -
使用pip install -r一次性安装多个库(linux环境)
1. 创建虚拟环境python3 –m venv venv(虚拟环境名称) 2. 激活虚拟环境source venv/bin/activate 3. 查看requirements.txt内容(包含需要安装的版本)cat requirements.txt 注:在requirements.txt 文件中写入库对应版本号如:pandas==0.25.3pymysql==0.9.3...4. 安装pip3 install –r requirements.txt –i https://原创 2021-04-13 13:52:23 · 1561 阅读 · 0 评论 -
调用PySpark定义Spark对象
在本地环境中spark = SparkSession.builder \ .master('local[*]') \ .appName('cons_test') \ .config("spark.jars", "E:\postgresql-42.2.18.jar") \ .getOrCreate()在服务器中def def_spark(app_name='common'): from pyspark.sql import.原创 2021-04-13 09:42:27 · 247 阅读 · 0 评论 -
GP数据库多行合并成一行
问题需求:将开始时间和结束时间连续的多行记录整合成一行。表格:表格名称:testSELECT start_date, end_date FROM ( SELECT start_date, ROW_NUMBER ( ) OVER ( ORDER BY start_date ) arn --设置序列 FROM ( SELECT start_date, LAG ( start_date, 1, DATE'2099-12-31' ) OVER ( ORDER BY原创 2021-04-12 15:07:16 · 957 阅读 · 0 评论 -
Windows上搭建PySpark环境后读取GreenPlum数据库
之前在服务器上配置了pyspark环境,好不容易搭建成功了,结果公司资源不足,无法使用了,哭泣ing。为此只能在本地上重新搭建Pyspark了。一、搭建PySpark环境1.安装jdk1.8以上版本下载地址:直接点击安装时需要记住安装路径。安装好后按照右击计算机–>属性–>高级系统设置–>环境变量–>系统变量然后在系统变量那一栏点击新建,添加变量名和变量值,注意变量值是你安装jdk的路径,添加好后点击确定保存。然后再找到Path,点击编辑,再最后添加上%JAVA_H原创 2021-03-19 11:13:33 · 354 阅读 · 0 评论