自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 linux下安装多版本python, 示例python3.7.1,python2和python3任意切换

切换root用户下,到 /usr/bin 路径下 ,执行一下命令: ls python* 如图所示:我已经安装python2.7和python3.5 创建安装路径 mkdir -p /app/software/ 下载:python3.7,安装。 wget https://ww...

2019-07-31 19:06:54

阅读数 33

评论数 0

原创 linux 安装 gedit

参考链接:https://ldzyz007.iteye.com/blog/1954602 sudo apt-get update sudo apt-get install gedit-gmate sudo apt-get install gedit-...

2019-07-31 16:51:08

阅读数 277

评论数 0

原创 linux 安装 nodejs

下载安装包,所有指令在root下运行 wget http://cdn.npm.taobao.org/dist/node/v10.16.0/node-v10.16.0-linux-x64.tar.xz 解压 tar -xvf node-v10.16.0-linux-x64.tar.xz ...

2019-07-31 11:37:44

阅读数 55

评论数 0

原创 Linux 定时清理缓存的脚本

代码需要在root 用户下执行,直接看代码。 # coding=utf-8 # author: bogger # create: 2019-07-31 # version: 1.0 # todo: # 该脚本在root用户下运行,定时清理linux 缓存,默认是20分钟执行一次 #...

2019-07-31 11:15:59

阅读数 68

评论数 0

原创 windows安装scrapy

pip install Scrapy 用上面命令行报错,缺少twisted 先安装twisted, 找到对应包下载,搜索twisted,下载对应的版本,下图cp36就是python3.6x版本用的,win32是指的python的位数。 https://www.lfd.uci.edu/~goh...

2019-07-16 11:03:46

阅读数 7

评论数 0

原创 python 的list 差集 并集

两个列表 a =[1,2,3] b = [2,3,4] 1、a 和 b 取差集: 有两种实现方式: 1、常用,效率低的办法 ...

2019-06-26 15:38:00

阅读数 10

评论数 0

原创 BeautifulSoup报错input conversion failed due to input error

简单又暴力的方法,自己可以试试: 直接看代码: from bs4 import BeautifulSoup, Comment import requests from retrying import retry @retry(stop_max_attempt_number=5) def ...

2019-06-21 09:40:42

阅读数 48

评论数 0

原创 爬虫,清洗,自己常使用的清洗办法。。。。

1、deling_surplus_special_characters_to_json方法,用于删除每个字段的的特殊字符 2、过滤文章表情,主要用于爬取马蜂窝游记的时候使用的 # coding=utf-8 # author: bogger # create: 2018-11-5 # ...

2019-06-20 14:40:40

阅读数 99

评论数 0

原创 UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd5 in position 30073: invalid continuation byt

出错代码: @retry(stop_max_attempt_number=10) def _get_url_content(self, start_url): proxies = get_proxies_requests(start_url) ...

2019-05-22 17:57:31

阅读数 105

评论数 0

原创 处理文章内的表情-emoji-马蜂窝、微信

直接上代码................ def filter_emoji(filter_data_str, replace_content=''): ''' 过滤表情 :param desstr: :param...

2019-04-05 14:30:39

阅读数 51

评论数 0

原创 Python-马蜂窝全站抓取。。。今天先写抓取国家和城市,下次有时间在写景点、自由行攻略和游记。。。

1、抓取全部国家 1)开始的url start_url = 'http://www.mafengwo.cn/mdd/' 2)请求部分代码 proxies = get_proxies_requests() random_header = get_heade...

2018-11-23 19:43:43

阅读数 550

评论数 0

原创 在linux下安装mplayer

指令安装: sudo apt-get install mplayer  

2018-09-20 16:38:49

阅读数 1488

评论数 0

原创 ubuntu16.04 安装 htop

直接指令安装: sudo apt-get install htop  

2018-09-20 15:29:54

阅读数 1020

评论数 0

原创 MySQL TEXT数据类型的最大长度

MySQL TEXT数据类型的最大长度 TINYTEXT 256 bytes TEXT 65,535 bytes ~64kb MEDIUMTEXT 16,777,215 bytes ~16MB LONGTEXT 4,294,967,295 ...

2018-09-11 16:34:40

阅读数 310

评论数 0

原创 Http error code 总结

HTTP 1xx-信息提示 这些状态代码表示临时的响应。客户端在收到常规响应之前,应准备接收一个或多个1xx响应。 100-继续。 101-切换协议。 2xx-成功 这类状态代码表明服务器成功地接受了客户端请求。 200-确定。客户端请求已成功。 201-已创建。 202-已接...

2018-09-05 19:20:55

阅读数 1517

评论数 0

原创 mysql磁盘空间总结

在跑爬虫的时候,遇到一个sql错误(1159),查了一下资料,解决了,重新启动爬虫,发现跑了5000数据,爬虫又报错了,在debug模式下,发现执行sql插入语句不动了,查阅资料,百般测试,发现mysql数据库的磁盘空间占满了。下面是这次错误的总结。 1、drop table table_nam...

2018-09-04 10:51:37

阅读数 279

评论数 0

原创 ERROR 1129 (00000): #HY000Host ‘*.*.*.*’ is blocked because of many connection errors;

今天使用工具nvicat连接mysql的时候报错误:          ERROR 1129 (00000): #HY000Host ‘*.*.*.*’ is blocked because of many connection errors; unblock with ‘mysqladmin f...

2018-09-03 10:33:48

阅读数 174

评论数 0

原创 安装虚拟机以及Ubuntu-16.04.4

  1、下载虚拟机并且安装 如有安装其他版本的需要,可到官网自行下载。 VMware百度云下载:https://pan.baidu.com/s/1geJHNMj#list/path=%2F 自己用自带的密钥激活。   2、下载安装 Ubuntu 16.04.4 官网网址:http://...

2018-08-30 18:24:24

阅读数 425

评论数 0

原创 Linux 安装 Scrapy 或Twisted 报错 error: command 'x86_64-linux-gnu-gcc' failed with exit status 1

首先查看你安装Scrapy或者Twisted的  python版本,然后按照下面方式安装对应的包,重新执行你的命令:   pip install Scrapy pip install Twisted 之前Linux内置的版本是3.5,自己重装了个3.6,估计因此要重装依赖包。  按照...

2018-08-20 11:40:48

阅读数 409

评论数 0

原创 git的使用

git登录网址:https://github.com/login 1、输入账号和密码:没有的话自己申请一个。登录界面如下:                           2、创建新的项目:     3、填写一下信息:     4、ubun...

2018-07-23 20:05:53

阅读数 49

评论数 0

提示
确定要删除当前文章?
取消 删除