- 博客(7)
- 收藏
- 关注
RSS订阅
原创 记录用Python从MySQL迁移数据到aws的redshift历程
前段时间需要将业务库MySQL中的数据迁移到redshift中，由于是新手，从0开始，所以遇到很多坑，也成长不少跨库迁移数据涉及到卸载源库数据，备份到文件中，迁移文件到redshift中并同步进数仓由于数据库和数仓的表结构不同，本人采用卸载纯数据到csv的方式一、从MySQL中卸载数据到CSVMySQL常规卸载数据到csv会用into outfile的方式备份数据；但是...
2019-12-12 17:35:31
486
原创 Python爬虫遇到法语é变成\u00e9
用Python爬虫过程中，尤其是爬取国外网站时候会发现出现一些\u00e9,\u00e8这种查看原网页发现是一些法文,如é，à，ù等其实都是不同编码包含内容不同的问题一般我们用Python存储数据到文件时候是先编码为其他的编码集，比如gbk,或者常用的utf-8在这儿我们需要的是它原始信息，所以需要数据原始信息，这儿就要提到unicode-escape编码集unicod...
2019-04-15 18:23:30
2325
原创 按位运算查询只出现一次的数字
按位运算符包括了 “&”， “|”， “^”之类的“&”的作用举栗：5&65和6的二进制分别是101和110，那么5&6的意思是在相同位置上的两个数字相同，那么计算结果的相同位置就是1，不同则为0所以5&6=101&110=100=4“|”的作用举栗：|是或运算符，5|6=7解析：5和6的二进制分别是101和110，那么5...
2019-07-29 17:13:06
211
原创 kettle（spoon）在window上安装问题
在下载kettle后要基于Java运行 得先下载java的jdk，本人之前已经安装了jdk1.8，所以就不写安装过程了在下载好后要把地下的bin路径加入到Path中，我的是这时候还得再加一个java_home上去，第一次我也掉入坑中了，如下这时候再启动下载好的spoon中的Spoon.bat注意，不同系统需要运行的不一样，在不同的平台上运行spoon所支持的脚本： S...
2019-07-17 10:26:18
452
原创 Python可视化之Pyecharts 多子图展示
作为Python可视化多个轮子中的Pyecharts在版本升级到 v1.0及以上后和以前的区别还是蛮大的其中就有一个是在引用包的时候我发现网上好多都是v1.0以前的引用方式，当然在我们默认的python3.6+中会报错本人使用的是Python3.7和Pychearts 1.3，本文都是在此基础下操作的具体的版本使用区别，可以戳此处查看官网信息，或者直接戳此处直接说明查看新版使用...
2019-07-16 15:06:15
10032
3
原创 Matplotlib在Linux上运行生成图片时中文显示是方框
前几天给公司设置定时分析任务报告并发送邮件的时候遇到的问题本地Windows上运行没问题，在服务器上运行一直显示中文是方框前提是你的服务器要有图形界面，因为不管你是plt.show()还是plt.savefig()都是会调用图形界面的哦搜索后大多数都说中加入如下代码但是我加了之后还是各种问题，百思不得其解找个很多问题都没发现后来在stackoverflow中看到了一个思...
2019-07-01 12:11:10
396
原创 Linux 运行shell报错/bin/bash^M: bad interpreter: No such file or directory
写shell脚本遇到报错遇到错误的主要原因在于很多人会在本地Windows系统上编写shell或者用Xftp新建shell文件，而这样生成的shell文件格式为dos的，Linux执行时候需要的是Unix格式的，所以需要对shell脚本格式进行转换我们对shell脚本文件执行vi ***.sh命令进入编辑模式然后直接键盘输入如下内容并回车这儿忘记截图了如果出现的内容...
2019-07-01 11:47:19
581
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人