![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
文章平均质量分 89
luyanbin_lqq
这个作者很懒,什么都没留下…
展开
-
python爬虫详细笔记
如题。本次爬数据的网站是招标网,数据是需要登录之后才能看到。这里并没有模拟登录而是直接通过手动登录后,拿到cookie等参数模拟已登录。本次爬数据使用python第三方模块requests和bs4。首先打开招标网看下基本情况:一.不需要登录时爬基本信息直接搜索查询关键词的话,查询的一些关于关键词的一些文件的基本信息(标题,时间等等基本信息)时,并不需要登录。比如下图所示:这里需要注意的有:(F12打开开发者工具)1.在network栏里,查看查询的那个接口(一般都是在最上方,下面一大堆都是数据原创 2022-01-17 16:28:08 · 1372 阅读 · 0 评论 -
python将文件上传到S3
如题:现在需要将指定的文件或者文件夹原创 2020-04-15 16:02:58 · 1843 阅读 · 0 评论 -
python——将实时流数据传入kinesis
使用场景如题,生产数据源源不断的传入kinesis实时流中,然后与redis中已缓存的数据做匹配,若匹配成功则将指定的数据替换后传入firehouse流,用以在AWS平台做后续存入S3存储库处理。代码示例:import base64from io import StringIO, BytesIOimport jsonimport boto3import redisimport da...原创 2020-04-14 13:44:16 · 724 阅读 · 0 评论 -
使用S3 select查询数据放入redis缓存——python
使用S3select查询数据放入redis缓存前言:完全不懂的新手因项目需求(用python)不得已查了点资料比着葫芦画瓢去做了个测试,留之待以后改正。ps:不会python,之前基本也没了解过AWS。不喜勿喷。准备环境1,既然是查询S3内数据文件的数据,当然得有AWS了,需要AWS上创建个S3,然后将测试数据文件先上传。(在平台上直接上传,当然。。。也可以使用boto3上传和下载,网上...原创 2020-04-02 22:01:58 · 773 阅读 · 0 评论 -
Python爬取豆瓣电影TOP250相关数据
Python用途广泛,功能强大。。。所以闲来无事想学学python,发帖记录我的学习过程,本次给大家分享一下简单的python爬取豆瓣电影TOP250的一些相关信息,比如电影名、资料等。至于一些关于python的介绍,各位自己再百度,至于代码的意思,注解的也相对很详细了。当然啦,写法有很多,各不相同!我就用贼笨贼low但贼一目了然的那种!各位看官共勉!因为我是新手,看网上教程说推荐新手使用IDL...原创 2019-08-15 16:03:04 · 723 阅读 · 0 评论