- 博客(6)
- 收藏
- 关注
RSS订阅原创 python使用beautifulsoup爬取起点小说的名称，作者，摘要，更新信息
方法写入CSV文件的表头行，表头包含了小说的信息字段，即'小说名称', '作者', '摘要', '更新信息'。总之，这段代码的作用是从指定网页中提取小说的信息，并将这些信息存储在一个CSV文件中，以便进一步处理或分析。打开一个CSV文件（如果文件不存在，将创建一个新的），设置文件的编码为UTF-8，并创建一个CSV写入器。这段代码是用Python编写的，目的是从指定网页中抓取小说信息，下面有代码。方法将提取的小说信息写入CSV文件的一行。中的每一个小说条目，然后使用。最后，使用CSV写入器的。
2023-09-22 10:30:41
407
原创 使用Python和BeautifulSoup爬取酷狗网页排行榜数据并保存为CSV文件
这段代码的主要功能是从指定网页中提取歌曲的名称和链接，并将这些数据保存到CSV文件中。这个CSV文件可以用于进一步的数据分析或处理。向指定的URL发送HTTP GET请求，获取网页的内容，并将其存储在变量。最后，打印一条成功消息，指示链接已保存到CSV文件中。方法查找每个歌曲的名称和链接，然后将它们添加到。定义CSV文件的列名为 ["歌曲", "链接"]。元素，这样就找到了排行榜中的歌曲列表。将歌曲的名称和链接数据写入CSV文件。变量中的网页内容，以便后续操作。用于处理CSV文件。，用于存储歌曲的链接。
2023-09-22 10:25:23
605
原创 大数据-zookeeper显示进程被占用，但是jps并没有显示QuorumPeerMain进程
这种情况是因为在使用完zookeeper之后，没有关闭好zookeeper，导致zookeeper的唯一标识id发生了改变，我们查看在zookeeper/conf/zoo.cfg里面的文件，可以发现我们刚开始绑定的时候。进入到 /home/hadoop/data/zookeeper/zkdata里面，你会发现myid里面的内容发生了改变。在zookeeper配置好，并使用脚本启动zookeeper之后，查看zookeeper的进程时候，出现。这个时候就需要将每个虚拟机的唯一标识更正过来既可。
2023-09-20 15:34:06
705
1
原创 学100种基本爬虫项目--使用正则表达式来获取整篇小说
我们的目标是从"bbiquge"网站上获取某本小说的全文内容，并保存为.txt文件。我们将使用requests库进行网络请求，使用re和parsel库来解析页面，并把小说内容保存到本地。：对每一个提取到的章节链接，发送GET请求获取章节页面的HTML，然后解析HTML以提取章节标题和内容。最后，将提取到的标题和内容写入到本地的txt文件。最后，打开（如果不存在则创建）一个txt文件，并以追加的模式将标题和内容写入文件。在这段代码中，首先是拼接出每个章节的URL（），以及发送HTTP请求时使用的请求头（
2023-07-15 12:44:20
866
1
原创 学100种基本爬虫项目--模拟浏览器发送请求并解析数据之爬取单章小说内容
本文将介绍如何使用Python中的requests模块发送请求，并使用解析库解析返回的数据。同时，我们还将了解到在数据解析过程中使用CSS选择器和XPath的情况，以及在无法获取标签时使用正则表达式的情况。举个例子，假设我们想要提取文章的标题，可以使用CSS选择器或XPath进行定位和提取。库解析了获取到的HTML文本，并通过CSS选择器定位到标题所在的h1标签，然后使用。另外，我们还可以通过CSS选择器或XPath来提取其他标签中的数据。接下来，我们可以将提取到的数据保存到本地文件中。
2023-07-14 21:28:04
693
原创 【尚硅谷】SSM框架全套教程-报错集-mybatis中动态拼接SQL出现java.lang.NumberFormatException异常，数据类型不匹配引起的。
可能是在执行查询之前的参数处理或SQL语句构建过程中，将参数错误地用作了数字类型的条件，而实际上参数应该是字符串类型。通过仔细检查和调试相关的代码，特别是涉及到参数和SQL查询的部分，您应该能够找到导致此异常的具体原因并进行修复。要解决这个问题，您需要检查涉及到参数的地方，确保参数的数据类型与SQL语句中的占位符匹配。如果参数是从用户输入获取的，确保对用户输入进行适当的验证和转换，以防止非法输入导致的异常。检查查询语句中的条件语句，确保使用字符串类型的参数作为字符串比较，而不是误用为数字类型。
2023-06-09 11:35:32
246
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人