2019年04月_雍飞宇

11月 10月 05月 04月 03月 02月 01月

原创 centos7 安装python3，亲手实践版本，并保持多版本兼容

文章目录前置下载解压安装配置前置这里是因为我部署爬虫到centos7上，所以需要重新布置python和anaconda环境。首先安装python所需的一些包yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make libffi-de...

2019-04-28 14:04:56 256

原创 linux下安装Anaconda3，配置python3。完美解决所有坑点！！！

1、安装到anaconda的官网获取下载链接 https://www.anaconda.com/distribution/#linux下载安装wget https://repo.anaconda.com/archive/Anaconda3-2019.03-Linux-x86_64.shbash Anaconda3-2019.03-Linux-x86_64.sh然后一直输入yes，以及...

2019-04-26 18:11:09 12634 1

原创 Linux关机和重启命令总结

关机命令：shutdown -h now（立刻进行关机） halt（立刻进行关机） poweroff（立刻进行关机）重启命令：shutdown -r now（现在重新启动计算机）reboot（现在重新启动计算机）区别：shutdown -h now和shutdown -r now必须是root用户或者具有root权限的用户才能使用，而halt和reboot是Linux系统中的任...

2019-04-26 17:41:14 138

原创爬虫笔记：如何遍历json导出到列表中

文章目录前言实现效果前言最近在做一个自动化爬取IT桔子投融资到mongodb，然后自动导出我想要的字段到CSV发送邮件到指定邮箱。其中，如果做到遍历json这点确实难倒了我，找了很多方法，最终实现遍历效果。原始数据如下{ '_id': ObjectId('5cbd1a8513405c7b215db28f'), 'agg_time': '2019-04-21', '...

2019-04-25 22:25:34 387

原创爬虫笔记-Session和Cookies

1、静态网页和动态网页静态网页：网页的内容是 HTML 代码编写的，文字、图片等内容均是通过写好的 HTML 代码来指定的，这种页面叫做静态网页。优点是访问速度快，缺点点可维护性差动态网页：动态解析 URL 中参数的变化，关联数据库并动态通过xml、ajax等呈现不同的页面内容。2、无状态HTTPHTTP 的无状态是指 HTTP 协议对事务处理是没有记忆能力的，也就是说服务器不知道客户端是...

2019-04-19 13:04:29 271

原创 git笔记：git push时出现remote: Permission to。。。The requested URL returned error: 403错误

问题出现的原因猜测是这个项目提交时，配置了错误的网址，即，你本来往自己github里面仓库写入资源，结果.git/config 配置确实其他人的仓库。所以出现不允许~解决方法解决方法也很简单。vim .git/config带github的仓库，直接替换即可然后再git push即可成功。done！...

2019-04-15 22:50:17 1637

原创 Python笔记：zsh 下Anaconda3的安装

问题Mac下安装好Anaconda3后，并且能够打开图形化的界面，但是发现终端无法显示Anaconda3，提示没有发现。断定为环境变量的问题。经查阅资料，发现终端中zsh的可访问的程序都放在/bin, /usr/bin, /usr/local/bin。而Anaconda3是安装在/Users/pasca下的，其中pacsa是电脑用户名。解决增加zsh的环境变量，执行以下命令。e...

2019-04-15 09:43:12 1767

原创爬虫笔记：unicode编码转中文

问题抓取IT桔子网时，返回的内容都是unicode编码格式。如下：随便截取一点翻译后。所以，如果想要正确的爬虫内容，还需要将unicode编码的内容转为中文。方法将爬虫到的response先编码urf-8后解码。print(response.text.encode('utf-8').decode('unicode_escape'))这个unicode_escape是什么？本...

2019-04-13 15:14:19 2149

原创爬虫笔记：Python 读取ini配置文件

在日常中经常遇到*.ini的文件，wiki中解释名字出自Initial，总之，一般遇到这种东西寓意就是初始化配置文件。刚拿到的时候，有点懵逼。其实很简单，就是一个文本信息，一般用来不方便放置密码时或者需要重复利用的信息，从而简便的读取这个信息。ini配置文件[userInfo]userName = xxxxxpassWord = 12313[spiderAPI]companyS...

2019-04-12 17:37:27 379