Python
MMddyhc
河北师范大学 地理信息科学专业 GISer
展开
-
Python爬取链家租房信息
Python爬取链家租房信息兴趣点:继续练手,今天以石家庄市开发区为例,爬取所有链家在租房屋信息这种静态网页我已经练了很多了,已经驾轻就熟了目标网站:传送门:https://sjz.lianjia.com/zufang/kaifaqu1/爬虫大体思路与方法:大体思路:(1)找到翻页的规律(链家是静态网页,直接看浏览器上方显示的链接就能找到规律)(2)获取我们想要的出租房的信息包括房源、面积、具体地址等,整理到列表中(3)存储到本地方法:(1)getHTMLText(url):页面获取原创 2020-10-22 15:06:14 · 1487 阅读 · 5 评论 -
Python爬取网易云音乐评论
Python爬取网易云音乐评论兴趣点:这个网易云音乐的评论我早就想爬了,可惜技术不行,研究了两天的时间我终于用最简单的方法实现了网易云音乐评论的爬取,我以毛不易的《像我这样的人》为例来介绍一下爬取网站:虚假的爬取网站:https://music.163.com/#/song?id=569213220这个是打开歌曲《像我这样的人》的页面,由于页面是动态加载的,评论信息都保存在json文件里,无法直接爬取,但我们可以想办法看一下:(1)按F12进入开发者工具,刷新一下,点几下翻页,你会发现多了好多原创 2020-10-21 15:49:12 · 1662 阅读 · 5 评论 -
Python爬取人民网文章标题
Python爬取人民网文章标题兴趣点:还是为了练手,开始想爬人民网主页的所有文章的,但是发现不同板块的页面结构不一样,有的页面还是论坛???我人晕了,最后改弄词云了,无奈╮(╯▽╰)╭爬取网址:传送门:http://www.people.com.cn/爬虫大体思路和方法:大体思路:(1)这个页面相对简单,获取页面标签里的文本和链接就不说了(2)利用jieba库的analyse自动分析方法拆分分析文本(3)利用Wordcloud的方法实现词云方法:(1)页面获取方法:getHTMLTex原创 2020-10-20 08:24:52 · 1790 阅读 · 2 评论 -
Python爬取猫眼电影TOP100榜
Python爬取猫眼电影TOP100榜兴趣点:这个没什么特别的兴趣,只是单纯爬猫眼练手的人太多了,所以我也打算加入他们,对猫眼员工说一声不好意思了,哈哈哈!爬取网址:传送门:https://maoyan.com/board/4爬虫大体思路及方法:大体思路:(1)TOP100榜共10页,每页10部电影,他们的文本和电影专页链接就是我们的目标(2)我们先把这10页网页的URL链接获取出来,放到一个列表里(3)利用循环读取每个网页中的每个电影的相关信息(姓名,主演,上映时间,链接),读入一个列表原创 2020-10-17 16:29:22 · 788 阅读 · 1 评论 -
Python爬取LOL高清皮肤壁纸
Python爬取LOL高清皮肤壁纸兴趣点:这两天复习爬虫,CSDN上看到了一个爬取LOL皮肤的博客,哎这个有意思,看了一下他写的代码,感觉难度还可以,就结合着自己的理解写了一下参考博客:传送门:https://blog.csdn.net/weixin_44936889/article/details/103707406爬取网址:传送门:http://lol.52pk.com/pifu/hero/爬虫方法设计:方法:(1)页面获取方法:getHTMLText(url)(2)把所有皮肤页UR原创 2020-10-13 17:36:35 · 450 阅读 · 2 评论 -
Python爬取软科中国大学排名2020版网页
Python爬取软科中国大学排名2020版网页问题起因:复习爬虫时发现之前代码爬取的软科中国大学排名网站页面变了,原来的爬虫就不能再使用了,所以我对爬虫进行了更新,使之恢复可用状态,并增加了写入Excel表格部分目标页面:软科——中国大学排名http://www.shanghairanking.cn/rankings/bcur/2020爬虫方法设计:方法:(1)页面获取方法:getHTMLText(url)(2)页面解读方法:fillUnivList(ulist,html)(3)效果打印方原创 2020-10-12 16:06:34 · 3976 阅读 · 25 评论 -
Python批量修改文件名
Python批量修改文件名问题起因:我需要核对一些表格,但是Excel无法同时打开两个同名文件,这大几十的Excel表要是一个个改名再改回来也太麻烦了使用工具及方法:工具:Python3.7方法:(1)os.listdir(path) 将指定路径文件夹中的文件名录入一个列表中(2)os.rename(old_name,new_name) 重命名文件代码:import os# 目标路径path = ""#os.listdir(path)返回指定路径路径文件夹中所有文件名,并将文件原创 2020-10-11 20:27:01 · 214 阅读 · 0 评论 -
学习与实践总结十(Python)
计算机二级操作题整理:1.文件 data.txt 文件中有多行数据,打开文件,读取数据,并将其转化为列表。统计读取的数据,计算每一行的总和、平均值,在屏幕上输出结果:with open("data.txt","r",encoding = "utf-8"原创 2019-03-05 18:17:32 · 1260 阅读 · 0 评论 -
学习与实践总结四(Python)
错题总结:1.关于编译和解释,静态语言和脚本语言:1.编译:将源代码一次性转换成目标代码的过程,编译是一次性翻译,之后不再需要源代码2.解释:将源代码逐条转换成目标代码,同时逐条运行的过程,解释是每次程序运行是随翻译执行3.根据解释和编译两种执行方式,编程语言分为静态语言和脚本语言(1)静态语言 使用编译执行的编程语言(C/C++ Java)(2)脚本语言 使用解释执行的编程语言(P...原创 2019-02-13 21:26:34 · 2953 阅读 · 0 评论 -
学习与实践总结三(Python)
错题总结:1.如何查看当前Python版本:sys.version 获取Python解释程序的版本信息其他关于Python的sys模块的资料:http://blog.51cto.com/2032872/2146932?source=dra执行后可以查看Python的版本的是( D )A.import sysprint(sys.Version)B.import systempri...原创 2019-02-13 11:02:51 · 387 阅读 · 0 评论 -
学习与实践总结九(Python)
计算机二级操作题整理:1.请编写程序,生成随机密码,具体要求如下:(1)使用 random 库,采用 0x1010 作为随机数种子。(2)密码 abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ1234567890!@#$%^&* 中的字符组成。(3)每个密码长度固定为 10 个字符。(4)程序运行每次产生 10 个密码,每个...原创 2019-02-27 21:59:11 · 2203 阅读 · 0 评论 -
学习与实践总结八(Python)
错题总结:1.软件测试的一般步骤:(1)单元测试(也称模块测试):针对软件设计的基本单元——程序模块,进行正确性检验的测试工作。目的在于发现各个模块内部可能存在的各种差错。单元测试需要从程序内部结构出发设计测试用例,多个模块可以平行、独立地进行测试;(2)集成测试(也称组装测试,联合测试):在单元测试的基础上,将所有模块按设计要求集成在一起进行测试,以检验总体设计中各模块间的接口设计问题、模...原创 2019-02-17 16:10:23 · 172 阅读 · 0 评论 -
学习与实践总结二(Python)
错题总结:1.Python的复数表达知识:1.虚数不能单独存在,它们总是和一个值为0.0的实数部分一起构成一个复数2.表示复数的语法:real+imagj3.实数部分和虚数部分都是浮点数4.虚数部分必须有j或J关于 Python 的复数类型,以下选项中描述错误的是( C )A.复数的虚数部分通过后缀“J”或者“j”来表示B.对于复数 z,可以用 z.real 获得它的实数部分C....原创 2019-02-11 22:19:33 · 3416 阅读 · 0 评论 -
学习与实践总结七(Python)
错题总结:1.Python第三方库:以下属于 Python 脚本程序转变为可执行程序的第三方库的是( D )A.openpyxlB.PyPDF2C.pillowD.pyinstaller1.openpyxl(Excel操作)2.PyPDF2(PDF操作)3.pillow即PIL(图像处理)4.pyinstaller可以生成不依赖python环境的,可以直接执行的程序(脚本→可...原创 2019-02-16 16:48:19 · 235 阅读 · 0 评论 -
学习与实践总结六(Python)
错题总结:1.Python第三方库:以下选项中,用于文本处理方向的第三方库是( A )A.pdfminerB.TVTKC.matplotlibD.mayavi1.pdfminer(文本处理——pdf)2.TVTK(数据三维可视化)3.matplotlib(数据三维可视化)4.mayavi(三维绘图)以下选项中,用于机器学习方向的第三方库是( D )A.jiebaB.Sn...原创 2019-02-15 21:52:11 · 615 阅读 · 0 评论 -
学习与实践总结一(Python)
题不能白做,要加深一下印象:1.请指出下面代码的输出结果为:num = [10, 9, 8] #此题注意区分下面两种情况:print(num * 3) #打印三遍列表numprint([i*3 for i in num]) #将列表num中的元素分别乘三,然后打印新生成的列表运行结果:[10, 9, 8, 10, 9, 8, 10, 9, 8][30, 27, 24]w...原创 2019-01-29 15:20:45 · 627 阅读 · 0 评论 -
学习与实践总结五(Python)
错题总结:1.数据库设计:按照规范的设计方法,一个完整的数据库设计一般分为以下六个阶段:1.需求分析阶段:分析用户的需求,包括数据、功能和性能需求2.概念设计阶段:主要采用E-R模型进行设计,包括画E-R图3.逻辑设计阶段:通过将E-R图转换成表,实现从E-R模型到关系模型的转换4.物理设计阶段:主要是为所设计的数据库选择合适的存储结构和存取路径5.数据库的实施:包括编程、测试和试运...原创 2019-02-14 17:52:01 · 502 阅读 · 0 评论 -
Python打印九九乘法表(Python)
算法:打印九九乘法表方法一:(1)运用range()函数(参数值含左不含右)(2)Python的print函数默认换行,这里通过把九九乘法表中在一行的转化成字符串类型再打印的方法解决(3)在每个乘式的后面加一个空格来分隔乘式for i in range(1,10): s = "" for j in range(1,i+1): k=i*j s...原创 2019-01-26 09:24:55 · 9915 阅读 · 3 评论