彭世瑜的博客

记录我的code历程 个人主页:www.pengshiyu.com

Python爬虫:调用百度翻译接口实现中英翻译功能

百度翻译地址:https://fanyi.baidu.com/ 上篇文章我使用了爬虫获取了有道翻译的接口,这次通过正规渠道获取翻译结果 百度翻译开放平台:http://api.fanyi.baidu.com/api/trans/product/index 1、按照提示注册账号,获取 APP ...

2018-08-31 10:59:14

阅读数:195

评论数:0

Python爬虫:js加密实例-有道翻译

有道翻译地址:http://fanyi.youdao.com/ 1、随便输入关键字,打开调试,发现是ajax传输,post请求 不难发现,请求连接Request URL: http://fanyi.youdao.com/translate_o?smartresult=dict&am...

2018-08-31 01:42:54

阅读数:141

评论数:0

Python爬虫:scrapy-splash的请求头和代理参数设置

lua中设置代理和请求头: function main(splash, args) -- 设置代理 splash:on_request(function(request) request:set_proxy{ h...

2018-08-28 17:13:17

阅读数:913

评论数:5

error: scrapy TypeError: 'float' object is not iterable

正常运行爬虫,在公司电脑上没问题,回到家自己电脑上就出现了下面的报错,百思不得解 Traceback (most recent call last): File "D:\.virtualenvs\spider\lib\site-packages\twisted\intern...

2018-08-26 11:27:25

阅读数:102

评论数:0

Python编程:pycharm同级目录导入模块报错问题

PyCharm同级目录导入模块会提示错误,但是可以运行 解决: 在当前目录右键make_directory as-->Sources Root 如果需要多级导入,可以试试添加到系统路径 import sys sys.path.append('b...

2018-08-25 15:08:42

阅读数:180

评论数:0

Python编程:web框架flask、web.py、tornado最小应用

Flask http://docs.jinkan.org/docs/flask/ pip install Flask 最小应用 from flask import Flask app = Flask(__name__) @app.route('/') def hello_world()...

2018-08-25 13:44:06

阅读数:252

评论数:0

Python爬虫:selenium使用chrome和PhantomJS实用参数

参数设置示例 from selenium import webdriver options = webdriver.ChromeOptions() options.add_argument('lang=zh_CN.UTF-8') driver = webdriver.Chrome(chrome...

2018-08-25 10:58:24

阅读数:216

评论数:0

Python爬虫:python2使用scrapy输出unicode乱码

无力吐槽的python2,对中文太不友好了,不过在早期项目中还是需要用到 没办法,还是需要解决 我编写scrapy爬虫的一般思路: 创建spider文件和类 编写parse解析函数,抓取测试,将有用信息输出到控制台 在数据库中创建数据表 编写item 编写model 编写pipline 运...

2018-08-24 15:54:47

阅读数:182

评论数:0

数学:简单理解指数和对数

定义 指数: y=axy=ax y = a^x 对数 y=logaxy=loga⁡x y = \log_a x 举例 假设 a=2a=2 a=2 乘法: 1×2×2×2=81×2×2×2=8 1 \times 2 \times 2 \times 2 = 8 除法: ...

2018-08-24 13:19:10

阅读数:278

评论数:0

Python爬虫:利用百度短网址缩短url

写爬虫程序的时候,会遇到目标网址太长,存入数据库存入不了的情况,这时,我们可以通过百度短网址服务将网址缩短之后再存入 百度短网址:http://dwz.cn/ 百度短网址接口文档:http://dwz.cn/#/apidoc 以下是python代码 # -*- coding: utf-8 ...

2018-08-24 11:36:40

阅读数:377

评论数:1

Pyhton编程:xmlrpc远程文件读取工具

以下使用的是py3代码,py2可能引用方式不一样 服务器端 server.py # -*- coding: utf-8 -*- from xmlrpc.server import SimpleXMLRPCServer def file_read(filename): with ...

2018-08-24 10:41:50

阅读数:38

评论数:0

Pyhton编程:打印json格式的数据

# 打印出JSON import json from pprint import pprint data = {"name": "Tom", "age&am...

2018-08-24 10:20:13

阅读数:50

评论数:0

Python编程:Counter计数器-dict字典的子类

Counter计数器,继承了dict类,基本可以和字典的操作一样 from collections import Counter # 实例化 counter = Counter("abcabcccaaabbb") print(counte...

2018-08-24 10:11:45

阅读数:139

评论数:0

Python编程:列表、集合、字典推导式的示例

推导式,其实就是将多行的循环语句放到一行写 # -*- coding: utf-8 -*- # 列表推导式 lst = [i for i in range(5)] print(lst) # [0, 1, 2, 3, 4] # 相当于 lst2 = list() for i in ra...

2018-08-24 10:07:35

阅读数:16

评论数:0

Linux: crontab设置定时任务

crontab用于定时任务 编辑定时任务 $ crontab -e # 编辑 $ crontab -l # 查看任务 $ crontab -r # 删除任务(慎用) crontab文件格式 * * * * * command minute hour day month week...

2018-08-23 15:31:15

阅读数:26

评论数:0

Python编程:asyncio协程编程

同步IO: 一旦遇到IO操作,如读写文件、发送网络数据时,就需要等待IO操作完成,才能继续进行下一步操作 异步IO: 当代码需要执行一个耗时的IO操作时,它只发出IO指令,并不等待IO结果,然后就去执行其他代码了。一段时间后,当IO返回结果时,再通知CPU进行处理 消息循环: 主线程不断...

2018-08-23 15:19:54

阅读数:38

评论数:0

Python编程:pillow对图像的简单处理

图片属性 from PIL import Image def show_info(): im = Image.open("image.jpg") print(im.mode) # RGB print(im.format) # JP...

2018-08-22 09:50:01

阅读数:141

评论数:0

Git:更改Git远程仓库-从github迁移到coding

github 的代码都是开源的,不是所有的代码都能够公开,比如你们公司的数据库地址,账号,密码等。。。 coding 的代码默认是私有的,所有这一点比github要稍微好点 所有我需要将部分代码迁移到coding 第一步,先确保代码最新 # 先进入到git目录 $ git add . ...

2018-08-21 10:06:39

阅读数:107

评论数:0

Python编程:将markdown格式转换为rst格式

利用requests库对网络接口的请求,将markdown格式转换为rst格式 代码示例 # -*- coding: utf-8 -*- # @File : markdown_to_rst.py # @Date : 2018-08-20 # @Author : Peng Shi...

2018-08-20 19:13:47

阅读数:219

评论数:0

error: ImportError: No module named cv2

代码: import cv2 报错 ImportError: No module named cv2 解决: pip install opencv-python 参考 Ubuntu系统下Import cv2提示no modules …错误

2018-08-20 16:20:26

阅读数:28

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭