m0_73511684的博客

观察图像，实际上不管是周几弹幕主要活跃的时间段都是，上午：9~11点，下午：14~17点，晚上：20~22点。至此内容分析完毕，我们在分析过程中发现了很多有趣的现象，比如用户的活跃时间等，也看到了UP主的内容对弹幕数量造成的影响，还有很多有趣的东西藏在数据当中。仔细查看其弹幕内容，发现该用户的弹幕大多是用来回复UP主提出的问题，是好学的活跃用户呢！由此可见三月份发弹幕的人数也是最多的，那么是什么原因导致的弹幕数量激增呢？该用户的弹幕文字很多，大都是发表对视频提问的解答，也是好学的选手。

本次操作的网站是一个用于给姓名打分的网站，我们要拿到的数据是网站对名字的打分，首先来试用一下这个网站;点击开始测试后我们会得到这样的评分，这就是我们需要的数据。这里我们需要输入一些，个人信息。

可以看到我们需要的数据放在一个json字典内，"text"内就是这些用户的职言。这里需要做的伪装要多一些，还要设置params字典，用于爬取这种异步加载的网页。本次爬取的目的是因为这个网站是需要登录之后才可以获得数据的，同时这个页面也是异步加载的，需要进行抓包分析。往下刷可以看到get_list会出现很多个。最后输出到txt文件中即可。

这里是爬取了10页的图片 ，有翻页的url自己制作一下就好，然后通过循环就可以搞定，也可以将其封装成函数调用。可以看到我们已经成功 拿到下载地址了，之后请求下载的时候讲域名拼接上就好.一次简单的图片爬取;

这里拿到的结果是一个元组列表，列表里的每个元组是拼接好的url以及标题对。1.在这里我们获取所有章节的标题和URL。2.在获取到所有的url之后爬取正文内容。来看看某个章节的文本内容。

观察我们需要的数据发现其位于一个表格中html中td和table两个标签表示该数据是表格类型数据。如果要通过大量历史天气数据做分析，可以通过爬虫的方式获得。想要获得一个城市的历史天气，可以在天气后报网站上查询获得。由于是非静态网页，爬取的时候需要设置一些参数。上图就是我们要爬取的网页以及数据。

UA（user-agent）伪装，是我本次采用的伪装策略，也是最简单的伪装策略，有些网站的反爬机制比较复杂，则需要采用更加复杂的反反爬机制来进行伪装，不过，对于豆瓣来说，UA伪装就够用了。状态码是418，意思是服务器拒绝了我们的请求。这是因为服务器没有识别到我们是用户端，所以为了保证网站数据的安全，将我们拒之门外。可以看到电影的信息都在

.....

中的，我们拿到本页面的html代码之后开始解析数据。可以看到，我们已经得到了整个页面的html代码，那么下一步我们就需要从中提取我们需要的信息。

用driver来模拟人的操作，对应的账号密码以及身份证号后四位记得改成自己需要的，send_keys函数可以向对应位置填入内容，click函数可以点击对应位置，id需要使用开发者工具自己去找，这一步还需要在控制台中输入手机收到的验证码即可。7.最后就是一路输入出发地目的地，出发时间，然后点击确认即可，值得注意的就是预定那里的点击比较难搞，预定点击的定位方式也有所不同，这个位置是可以用之前result里面的信息通过拼接字符串的方式拼出来，三个列表用来储存查询到的车次的一些信息，方便我们后面执行购票这个操作。

此方法需要传入一个参数一个列表，定义一个临时列表temp将row中的所有元素添加到temp中，此时temp中不存在有空的元素了，遍历我们的row，flag做一个标记，如果flag=True则进入if满足条件的就进行合并，并将得分赋值给score，并判断score是否大于了best是就将score赋值给best，进行了合并就将flag赋值为False，相邻元素不等的就直接添加进新列表。3.初始化之后我们需要做的是统计棋盘里面的空位，创建一个新的列表用于存储空位的坐标。

get_str_img此函数用于遍历黑白图片的每一个像素点，并使用Image中的getpixel方法获得其r,g.b和alpha（并不是每个像素点都有）三个值。首先认清，一张图片是由一个一个像素点组成的，我们转换成字符画就需要将其每个像素点转换成合适的字符。get_new_img函数的作用是裁剪图片将其变为合适的尺寸，这样转换出来的字符画更接近真实。两种字符集我都使用过，在我的代码和测试图片下是方案一的字符集转换出来图片更加真实。字符画是一系列字符组合成的文本，看起来就像一幅画一样，如图1所示。