Python
文章平均质量分 85
凯耐
高调做事,低调做人
展开
-
Python selenium各个组件的操作
(一)操作文本输入框常用方法 说明 sendkeys() 设值 clear() 清空文本框内容 get_attribute() 获取文本框中的值 is_display() 判断元素是否显示 案例演示:from time import sleepfrom selenium import webdriverdriver = webdr...原创 2020-03-23 12:24:03 · 2922 阅读 · 0 评论 -
python装饰器的详细解析
参考:python装饰器的详细解析原创 2020-02-09 15:54:33 · 356 阅读 · 0 评论 -
Python 操作Excel文件
(一)简介 python操作excel主要用到xlrd和xlwt这两个库,即xlrd是读excel,xlwt是写excel的库。可从这里下载https://pypi.python.org/pypi。下面分别记录python读和写excel。安装xlrd和xlwt两个库pip install xlrd和pip install xlwt(二)使用介绍1.解析Excel原创 2018-01-24 19:20:16 · 1267 阅读 · 0 评论 -
Python生成词云图
(一)下载第三方模块1.wordcloud:它把我们带权重的关键词渲染成词云。2.jieba:是一个分词模块,因为我是从一个txt文本里提取关键词,所以需要 jieba 来分词并统计词频。如果是已经有了现成的数据,不再需要它。pip install wordcloudpip install jieba3.如果pip install wordcloud按装失败!请原创 2018-02-07 14:32:49 · 54629 阅读 · 2 评论 -
Python操作CSV格式文件
(一)CSV格式文件1.说明 CSV是一种以逗号分隔数值的文件类型,在数据库或电子表格中,常见的导入导出文件格式就是CSV格式,CSV格式存储数据通常以纯文本的方式存数数据表。(二)CSV库操作csv格式文本 操作一下表格数据: 1.读取表头的2中方式#方式一import csvwith open("D:\\test.csv") as f: read原创 2018-01-16 19:27:25 · 89671 阅读 · 15 评论 -
Python爬虫基础urllib的使用
(一)爬虫基础慕课数据采集学习视频爬虫基本原理:1.挑选种子URL; 2.将这些URL放入待抓取的URL队列; 3.取出待抓取的URL,下载并存储进已下载网页库中。此外,将这些URL放入待抓取URL队列,进入下一循环; 4.分析已抓取队列中的URL,并且将URL放入待抓取URL队列,从而进入下一循环。 (一)爬虫的基本思路:如图所示: 1. 使用ur...原创 2018-02-27 14:32:51 · 540 阅读 · 0 评论 -
Python BeautifulSoup基础总结
(一)BeautifulSoup4简介Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库,它能够通过你喜欢的转换器实现惯用的文档导航、查找、修改文档的方式。Beautiful Soup会帮你节省数小时甚至数天的工作时间。使用BeautifulSoup构建一个BeautifulSoup对象需要两个参数,第一个参数解析文本字符串,第二个参数告诉Be...原创 2018-02-02 17:41:52 · 906 阅读 · 0 评论 -
Python 使用Selenium获取斗鱼直播主播数据
(一)抓取网页的三种形式1.抓取静态网页数据,只需要遍历url就可获取各网页的数据。比如: 2.抓取动态网页数据就是获取json格式数据,因此只需要遍历json数据对应的url从而获取json数据。比如: 3.对于一些静态网页请求参数加密或请求参数过多,为了获取网页数据往往使用Selenium自动化测试工具获取网页源码,再解析网页获取数据。这样我们无需构造url请求参数就可获取...原创 2018-03-14 20:23:08 · 1112 阅读 · 0 评论 -
Python XPath解析器的使用
(一)XPath基础知识XPath (XML Path Language) 是一门在 XML 文档中查找信息的语言,可用来在 XML 文档中对元素和属性进行遍历。W3School官方文档:http://www.w3school.com.cn/xpath/index.asp1.XPath如何解析HTML文本内容?我们可以 将 HTML文件 转换成 XML文档,然后用 XPath ...原创 2018-03-14 22:31:40 · 3547 阅读 · 1 评论 -
Python Pandas数据科学入门
(一)Pandas简介Python Data Analysis Library 或 pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现,它是使Python成为强大而高效的数据分析环境的重要因素之一。Pa...原创 2018-02-15 15:15:43 · 697 阅读 · 0 评论 -
Python 使用Tesseract库识别验证
(一)Tesseract简介Tesseract是一个OCR库(OCR是英文Optical Character Recognition的缩写),它用来对文本资料进行扫描,然后对图像文件进行分析处理,获取文字及版面信息的过程,Tesseract是目前公认最优秀,识别相对精准的OCR库。(二)Tesseract的使用1.下载并安装Tesseract:点击下载2.在Windows系统下设置...原创 2018-03-16 22:06:13 · 2787 阅读 · 0 评论 -
Python 验证码登陆处理
(一)登陆验证码问题使用Python爬取网页内容时往往会遇到使用验证码登陆才能访问其网站,不同网站的使用的验证码也不同比如:内容验证码、滑动验证码、图片拼接验证码等等。对于内容验证码我们可以使用Tesseract识别其内容实现自动登陆,但是Tesseract也有缺陷对于图片不清晰、字体不标准识别出的内容往往有误,那么使用手动输入验证码是非常有必要的。(二)手动输入验证码实现豆瓣登陆...原创 2018-03-17 11:08:43 · 5526 阅读 · 1 评论 -
Python 爬虫基础Requests库的使用
(一)人性化的Requests库在Python爬虫开发中最为常用的库就是使用Requests实现HTTP请求,因为Requests实现HTTP请求简单、操作更为人性化。参考资料:快速上手—Requests 登陆操作:模拟登录知乎(二)get请求的基本用法def get(url, params=None, **kwargs)get()函数: 参数 说明...原创 2018-03-05 16:42:22 · 5799 阅读 · 0 评论 -
Python 解决Ajax动态加载问题
(一)Ajax基础1.简介AJAX = Asynchronous JavaScript and XML(异步的 JavaScript 和 XML)AJAX 不是新的编程语言,而是一种使用现有标准的新方法AJAX 是与服务器交换数据并更新部分网页的艺术,在不重新加载整个页面的情况下AJAX 可以用于创建快速动态的网页AJAX 是一种在无需重新加载整个网页的情况下,能够更新部分网...原创 2018-03-20 14:07:32 · 4256 阅读 · 0 评论 -
Python Selenium库的使用
(一)Selenium基础入门教程:Selenium官网教程1.Selenium简介Selenium是一个用于测试网站的自动化测试工具,支持各种浏览器包括Chrome、Firefox、Safari等主流界面浏览器,同时也支持phantomJS无界面浏览器。2.支持多种操作系统如Windows、Linux、IOS、Android等。3.安装Selenium...原创 2020-03-18 09:36:32 · 485389 阅读 · 63 评论 -
Python Pandas数据科学入门实例演示
(一)Python中的pandas模块进行数据分析。数据结构简介:DataFrame和Series数据索引index利用pandas查询数据利用pandas的DataFrames进行统计分析利用pandas实现SQL操作利用pandas进行缺失值的处理利用pandas实现Excel的数据透视表功能多层索引的使用(一)读取行数据1.读取头信息:data.head()...原创 2018-02-26 17:43:07 · 890 阅读 · 0 评论 -
Python BeautifulSoup实例演示
(一)常见的网页解析方法比较正则表达式使用比较困难,学习成本较高BeautifulSoup 性能较慢,相对于 Xpath 较难,在某些特定场景下有用Xpath 使用简单,速度快(Xpath是lxml里面的一种),是入门最好的选择(二)BeautifulSoup解析html表格1.实例演示html='''<table><tr> <th...原创 2018-02-04 14:18:10 · 486 阅读 · 1 评论 -
Python while循环语句
Python while循环语句(一)while使用说明 1.循环语句允许我们执行一个语句或语句组多次。程序员可以通过条件控制循环次数。1.猜数字游戏实例演示'''1.猜数字游戏,当你猜的价格不对时,继续猜。2.当你猜对猜数字时,正常退出本次游戏。'''while True: price=int(input("猜价格游戏,请输入你猜的价格:"))原创 2018-01-12 19:29:23 · 2554 阅读 · 1 评论 -
Python 列表的使用
(一)列表的定义 1.列表是Python中最基本的数据结构。序列中的每个元素都分配一个数字 - 它的位置,或索引,第一个索引是0,第二个索引是1,依此类推。(二)列表的作用 1.列表用来存储数据,数据可以是成百上千万个。 2.列表中的数据可以是任意类型,数据之间可以无任何联系。 3.对列表进行的操作可以是遍历,修改,删除,统计元素等等(三)列表的操作列表原创 2018-01-13 16:59:17 · 767 阅读 · 0 评论 -
Python 元组与字典
(一)定义元组 Python的元组与列表类似,不同之处在于元组的元素不能修改。元组使用小括号,列表使用方括号。元组创建很简单,只需要在括号中添加元素,并使用逗号隔开即可。1.实例演示#1.定义元组nations=('China','Japanese','France','Germany')country=('Russia','Americal')#2.访问元组prin原创 2018-01-13 19:46:01 · 399 阅读 · 0 评论 -
Python 正则表达式的应用
(一)正则表达式概述1.定义 正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串。在很多文本编辑器里,正则表达式通常被用来检索、替换那些匹配某个模式的文本。在 需要通过正则表达式对字符串进行匹配的时候,Python提供了一个re模块,我们通过这个模块来操作字符串。2.正则表达式的作用快速检索文本,实现字符或字符串的替换操作。比如:检查一串数字是否是电话号码原创 2018-01-22 21:05:38 · 656 阅读 · 0 评论 -
Python处理JSON格式的文件
(一)JSON 数据格式 1.JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。JSON采用完全独立于语言的文本格式,这些特性使JSON成为理想的数据交换语言。易于人阅读和编写,同时也易于机器解析和生成。 2.JSON数据格式是数据传输中最常见的格式之一,人们喜欢使用这种格式,是因为它结构清晰,易于阅读且方便解析。网址在向页面JavaS原创 2018-01-23 16:15:05 · 3610 阅读 · 0 评论 -
Python for循环的使用
Python for循环的使用(一)for循环的使用场景 1.如果我们想要某件事情重复执行具体次数的时候可以使用for循环。 2.for循环主要用来遍历、循环、序列、集合、字典,文件、甚至是自定义类或函数。(二)for循环操作列表实例演示使用for循环对列表进行遍历元素、修改元素、删除元素、统计列表中元素的个数。1.for循环用来遍历整个列表#for循环主原创 2018-01-12 20:24:52 · 62915 阅读 · 6 评论 -
Python 类和模块的使用
(一)类的使用1.面向对象技术简介 1.类(Class): 用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法。对象是类的实例。 2.类变量:类变量在整个实例化的对象中是公用的。类变量定义在类中且在函数体之外。类变量通常不作为实例变量使用。 3.数据成员:类变量或者实例变量用于处理类及其实例对象的相关的数据。 4.方法重写:如果从父类原创 2018-01-16 13:55:15 · 528 阅读 · 0 评论 -
Python 使用matplotlib数据可视化显示CSV文件数据
(一)获取数据1.下载sitka_weather_07-2014.csv数据:https://ehmatthes.github.io/pcc/(二)分析CSV文件头 csv模块包含在python标准库中,不需额外要下载。调用一次next()方法读取文件头信息。如果调用n次next()方法,那么读取到n行数据。import csvimport osfilename='s原创 2018-01-17 10:46:43 · 18755 阅读 · 7 评论 -
Python 将JSON格式文件进行数据可视化制作世界人口地图
(一) 制作世界人口地图:JSON格式 下载JSON格式的人口数据,并使用json模块来处理它,Pygal提供一个适合初学者使用的地图创建工具,使用它来对人口数据进行可视化,用来探索全球人口的分布情况。1.下载世界人口数据地址:https://ehmatthes.github.io/pcc/2.安装模块:pip install pygal_maps_world3.将popu...原创 2018-01-17 17:06:06 · 12830 阅读 · 3 评论 -
Python 函数的使用
(一)函数1.函数的定义 函数是组织好的,可重复使用的,用来实现单一,或相关联功能的代码段。函数能提高应用的模块性,和代码的重复利用率。可以调用系统内置的函数,也可以自定义函数。2.定义一个函数的规则函数代码块以 def 关键词开头,后接函数标识符名称和圆括号()。任何传入参数和自变量必须放在圆括号中间。圆括号之间可以用于定义参数。函数的第一行语句可以选择性地使用文档字原创 2018-01-13 22:54:01 · 405 阅读 · 0 评论 -
Python 文件操作(八)
(一)文件操作1.什么是文件? 如图所示: 2.文件的作用:保存数据,可以让程序下一次执行的时候直接使用。(二)文件的读写1.读取文件的三步骤:打开文件、读取文件、(关闭文件可以不写)。2.文件的访问模式: 3.读取整个文件with open('D:\\test.txt')as file: #1.一次读取文件所有内容 # contents原创 2018-01-16 15:46:44 · 445 阅读 · 1 评论 -
Python xml.etree.ElementTree解析XML文件
(一)简介xml.etree.ElementTree模块实现了一个简单而高效的API用于解析和创建XML数据。xml.etree.ElementTree模块对于恶意构造的数据是不安全的。如果您需要解析不受信任或未经验证的数据,请参阅XML漏洞。参考文献:https://docs.python.org/3.6/library/xml.etree.elementtree.html1.原创 2018-01-26 21:26:52 · 54394 阅读 · 5 评论 -
Python xml.etree.ElementTree解析XML文件实例演示
(一)country_data.xmldata name="Kaina" age="18"> country name="列支敦斯登"> rank>1rank> year>2008year> gdppc>141100gdppc> neighbor name="澳大利亚" direction="东部"/>原创 2018-01-27 15:21:46 · 2873 阅读 · 0 评论 -
Python 连接MySQL数据库实现CRUD操作
(一)安装pymysql模块 Python没有内置的MySQL支持工具,但是有许多开源库支持与MySQL交互,Python2.x和Python3.x本版都支持。最有名的就是PyMySQL库。在DOS窗口输入以下命令pip install pymysql知识点11.获取数据库连接connection=pymysql.connect(host='localhost',原创 2018-01-23 21:48:01 · 994 阅读 · 0 评论 -
Python if控制语句
Python if控制语句(一)Python 条件语句 编程有时候需要检查 一系列的条件,根据此条件决定采取什么措施。1.语法 if 条件表达式: pass 1.条件表达式的比较,可以是任意形式,比如: a.整数比较 b.字符串比较 c.布尔型数据比较 d.对象比较等等 2.检查多个条件 a.使用and检查多个条件,原创 2018-01-12 19:28:36 · 805 阅读 · 0 评论