- 博客(4)
- 收藏
- 关注
RSS订阅原创 python 连接mysql数据插入不成功
上面是原本的代码，运行程序执行成功没有报错，但是看sql数据库没有插入成功，试了很多方法，最后发现在python中使用sql最后要加入commit()提交函数。代码没问题，大多数情况是缺少了commit()函数，在末尾加上即可正常显示。接下来添加这段代码，运行看看。commit()函数。commit()函数。
2022-12-08 17:10:08
2147
2
原创 python爬虫scrapy框架基础
我使用的软件是pychram最近几周也一直在学习scrapy，发现知识点比较混乱，今天来总结一下。我是按照《精通python网络爬虫核心技术框架与项目实战》这本书来写的。讲的比较简洁，想要详细了解的可以看看书或者视频。scrapy框架运行的原理首先scrapy引擎会将蜘蛛爬虫(spider)中设置的起始网址传递到调度器中第一步:过程（1）是调度器(Scheduler)将要爬取的网址传递到scrapy引擎中,调度器是一个优先队列，根据优先级按顺序传递到scrapy引擎中第二步:过程（2）是scrapy收到调
2022-12-05 21:37:55
1700
原创 python爬虫获取网页的外链和内链（巨详细）
xxx = {scheme(网络协议),netloc(服务器位置),path（路径）,params（参数）,query（查询条件）,fragment（片段）}.......这个正则表达式弄了半天也搞不懂，这里我就理解为匹配includeUrl+以/开头的内链接 或者 是以/开头的链接。内链：同一网站域名下的内容页面之间的互相链接（自己网站的内容链接到自己网站的内部页面，也称之为站内链接）外链：在自己的网站导入别人的网站（比如有些网站加入了百度这个链接，而百度就是这个网站的外链）
2022-11-22 15:48:12
3456
原创 python 爬虫获取书籍名字
2.获取span标签中包含的内容 先用find_all查找上一级标签中包含的span标签，再用for循坏遍历get_text(）提取文本内容。原因使用find_all 若有些书籍若副标题不存在，则会将其他书籍的副标题加在上一本的书籍。解决方法：使用find一个一个检查是否存在副标题 副标题在span标签里 用if语句判断。4.range（）函数的使用方法 range(起始值，结束值，每次增加的值）1.用for循环遍历 打印出来的结果是一个标签一个标签打印的。代码如下（这是第一次写的代码，出现了一些问题）
2022-11-21 19:55:55
694
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人