python高级
农夫三拳lhx
人生太长,无法简介
展开
-
Python实现google翻译,免费多线程使用谷歌翻译接口
文章说明本文实现的方式大部分源码是从借鉴别人的博客,再他们的基础上修复了不能翻译的问题和其他的一些bug。但是原文找不到了,没法粘贴原文地址了,非常抱歉。本文章解决的问题有:翻译不来,在之前基础上对需要翻译的文字进行urlEncode,实现方式 parse.quote(self.text) 结果处理,切片合成。过长文字谷歌翻译会自动切片,翻译的结果会变成多段。 修改之前的翻译代码结构,更好的封装,方便调用。 使用多线程跑翻译任务。本文不介绍如何爬虫解析谷歌接口,如需.原创 2020-05-15 15:07:14 · 1359 阅读 · 1 评论 -
科学计算库(五)pandas 基本功能操作
数据文件读取read_**系列函数pd.read_csv() #读取逗号分隔的文件,会把第一行作为列索引header=None 不把第一行作为列索引header=num把第几行作为列索引pd.read_csv(filepath,header=None)pd.read_csv(filepath,header=2) 如果header=num,则把第几行作为列索引names=[ ] 自...原创 2019-08-22 20:12:05 · 732 阅读 · 0 评论 -
科学计算库(四)pandas的Series和DataFrame
目录引入模块一、Series创建Series属性方法Series值的获取切片花式索引Series的运算缺失值处理二、DataFrame创建取值切片花式索引获取行获取行和列修改值新增行和列删除列和行pandas中主要有两种数据结构,分别是:Series和DataFrame。 Series:一种类似于一维数组的...原创 2019-08-21 20:24:51 · 245 阅读 · 0 评论 -
Python爬虫(四)lxml、xpath
安装pip install lxml模块导入from lxml import etree使用xpath查询解析html源代码,得到html节点对象html=etree.HTML(r.text)查看html元素节点的内容print(etree.tostring(html,encoding="utf-8").decode("utf-8"))查找节点xpath() ...原创 2019-08-16 14:07:00 · 298 阅读 · 0 评论 -
Python url编码和解码
目录引题url编码有什么作用?Python怎么对url进行编码和解码?导入模块编码解码引题我们上网的时候经常见到url中会有%25E6,这样有%号的字符,下面是51job的链接:https://search.51job.com/list/020000,000000,0000,00,9,99,%25E6%25B7%25B1%25E5%25BA%25A6%25...原创 2019-08-16 13:21:38 · 4214 阅读 · 0 评论 -
科学计算库(三)numpy之ufunc
一元函数abs() fabs() 取绝对值。fabs()更快的速度,但不能计算复数a+bj的绝对值sqrt() 平方根square() 平方exp(x) 计算自然常数e的x次方log() e为底log10()log2()log1p() 以e为底,1+arr为真数,求对数如果是其他底数的log函数可以通过换底公式转换。log换底公式sign()计算...原创 2019-08-21 14:28:37 · 306 阅读 · 0 评论 -
Python爬虫(三)Beautiful Soup 实战,爬取前程无忧网站
Beautiful Soup介绍Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。 Beautiful Soup自动将输入文档转换为Unicode编码,输出文档转换为utf-8编码。 Beautiful Soup已成为和lxml、html5lib一样出色的python解释器,为用户灵活地提供不同的解析策略或强劲的速度。模块安装pi...原创 2019-08-15 20:07:28 · 4691 阅读 · 2 评论 -
科学计算库(二)numpy之ndarray
Numpy 官方文档:https://docs.scipy.org/doc/numpy/user/index.html创建ndarrayndarray,是Numpy的核心数据结构,元素的数据类型由dtype(data-type)对象来指定,每个ndarray只有一种dtype类型 ,ndarray的大小固定,创建好数组后数组大小是不会再发生改变的。np.array(list、tu...原创 2019-08-20 20:44:20 · 1741 阅读 · 0 评论 -
科学计算库(六)Matplotlib画图
导入模块import matplotlib.pyplot as plt如果想显示交互式界面,可以加:%matplotlib tk # 默认是行内显示%matplotlib inline解决中文显示问题import matplotlib as mplmpl.rcParams['font.sans-serif']=['SimHei']mpl.rcParams['...原创 2019-08-24 21:30:17 · 674 阅读 · 0 评论 -
科学计算库(一)time
导入模块import time不常用但会看到的几个方法time.altzone() 返回格林威治西部的夏令时地区的偏移秒数。往东是负数time.asctime([time_tuple]) 接收时间元组,返回可读形式的日期字符串,不传参数默认是当前时间格式:Tue Aug 20 09:54:50 2019time.ctime([time_stamp]) 接收时间戳,返回可读形式...原创 2019-08-20 19:04:57 · 305 阅读 · 0 评论 -
jupyter notebook 环境配置,安装第三方提示库
目录环境配置打开jupyter安装jupyter路劲重新设置1:生成配置文件2:修改配置文件3:去掉 %***%安装第三方提示库(Hinterland)jupyter使用技巧环境配置打开jupyter安装完anaconda默认都会自动安装好了jupyter,有的话直接点击打开就好了。安装jupyter如果没有jupyter,可以用安装命令...原创 2019-08-20 13:26:29 · 4064 阅读 · 0 评论 -
Python爬虫(二)正则表达式
正则表达式语法规则百度百科简介:正则表达式是对字符串(包括普通字符(例如,a 到 z 之间的字母)和特殊字符(称为“元字符”))操作的一种逻辑公式,就是用事先定义好的一些特定字符、及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑。正则表达式是一种文本模式,该模式描述在搜索文本时要匹配的一个或多个字符串。字符字符 . 匹配一个任意字...原创 2019-08-14 21:00:54 · 1380 阅读 · 0 评论 -
爬虫练习(一)爬取Boss直聘的招聘信息
通过职位搜索"Python开发",看下搜索的结果https://www.zhipin.com/job_detail/?query=python开发&city=101020100&industry=&position=用F12查看下html的结构先获取所有的class="job-primary"的div列表,然后遍历列表对象,在子查询里面的各个需要的信息...原创 2019-08-19 10:00:00 · 23238 阅读 · 8 评论 -
Python爬虫(一)requests介绍
爬虫开篇第一讲,如何用Python像浏览器一样发送Get/Post请求,使用模块requests。首先安装requests的模块:pip install requests发起请求最简单的Get/Post示例# 发送Get请求response = requests.get(url)#发送Post请求response = requests.get(url)...原创 2019-08-13 19:49:33 · 1657 阅读 · 0 评论