- 博客(9)
- 资源 (1)
- 收藏
- 关注
原创 第一天:网络爬虫入门
在数据量爆发式增长的互联网时代,网站与用户的沟通本质上是数据的交换:搜 索引擎从数据库中提取搜索结果,将其展现在用户面前;电商将产品的描述、价格展 现在网站上,以供买家选择心仪的产品;社交媒体在用户生态圈的自我交互下产生大 量文本、图片和视频数据。这些数据如果得以分析利用,不仅能够帮助第一方企业 (也就是拥有这些数据的企业)做出更好的决策,对于第三方企业也是有益的。 1.1为什么要学习网络爬虫 1.1.1网络爬虫的好处 大量企业和个人开始使用网络爬虫采集互联网的公开数据...
2022-02-07 17:27:00 977
原创 python爬虫从入门到入狱
今天开始记录学习python爬虫的整个学习历史,为啦方便后面查阅方便,在此做个笔记第一天:网络爬虫入门第二天:编写第一个网络爬虫第三天:静态网页抓取第四天:动态网页抓取第五天:解析网页第六天:数据存储第七天:提升爬虫的速度第八天:反爬虫问题第九天:登录与验证码处理第十天:服务器采集第十一天:分布式爬虫第十二天:爬虫项目实战...
2022-02-06 10:46:21 1163
原创 公司架构演变的思考
一.公司架构的演变总结1、微服务相对于普通的分布式服务有什么显著优点?2、公司引进的阿波罗管理配置文件有什么优势?3、spingcloud与dubbo的区别是什么?4. 微服务是如何保持事务特性的?5 . 在微服务中,幂等性如何保持?6. springcloud是如何实现监听和健康检查的二.数据迁移的思考 数据迁移利用job去跑,表字段要映射,数据迁移注意事项三。业务考虑批量回收:把未使用的改为...
2022-02-06 10:36:43 88
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人