- 博客(9)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 大数据是女人！爬虫是男朋友！黑客是强奸犯，深度好文
大数据是女人！爬虫是男朋友！黑客是强奸犯，深度好文 在黑科技、爬虫、大数据领域深度技术研发领域，爬虫和黑客使用的技术其实是一样的但是又有区别的，爬虫和黑客的区别在哪里呢 ？大数据、爬虫、黑客有什么关系呢？爬虫和黑科技的区别：黑客和爬虫最大的区别就是行为目的不同，黑客是干坏事，爬虫是干好事。因为黑客和爬虫使用的技术都是差不多，都是通过计算机网络技术进行对用户电脑、网站、服务...
2020-05-06 15:15:08
3721
2
原创 从数据仓库到百万标签库,大数据应用这样做就对了
大数据深度挖掘、大数据精准营销、大数据科研等是目前比较热门的大数据应用关键词，随着大数据发展，利用大数据做营销的手段越来越丰富，但也越来越难了。很多企业通过大数据深度爬虫技术采集了各种数据集合，但是很多数据是不是标准化的，在使用的上很难完全爆发出它的价值，所以很多企业都采用“数据标签”的方式给每个数据库打上各种应用场景的标签，每个企业有自己的标签库，或者说是DMP吧，但毕竟不是每个产...
2020-04-17 10:12:29
1313
原创 【Python3爬虫】破解同程旅游加密参数 antitoken-爬虫深度技术
【Python3爬虫】2020年最新破解同程旅游加密参数 antitoken一、前言简介 在现在各个网站使用的反爬措施中，使用 JavaScript 加密算是很常用的了，通常会使用 JavaScript加密某个参数，例如 token 或者 sign。在这次的例子中，就采取了这种措施来反爬，使用 JavaScript 加密了一个参数 antitoken，而本篇博客要写的就是如何应对和解决...
2020-04-10 16:36:44
1387
1
原创 【高并发】假如你网站一天有千万级访问量高并发，如何破解？
很多小伙伴反馈说，高并发专题学了那么久，但是，在真正做项目时，仍然不知道如何下手处理高并发业务场景！甚至很多小伙伴仍然停留在只是简单的提供接口（CRUD）阶段，不知道学习的并发知识如何运用到实际项目中，就更别提如何构建高并发系统了！究竟什么样的系统算是高并发系统？今天，我们就一起解密高并发业务场景下典型的秒杀系统的架构，结合高并发专题下的其他文章，学以致用。电商系统架构在电商领域，...
2020-04-10 16:28:03
3807
原创 python爬虫-什么时候选择selenium框架框架？
不知不觉已经从事Python编程开发5年了，Python刚开始其实不是很起眼，但是随着大数据越来越活，现在Python也越来越火了，但是目前我主要从事的Python工作还是以数据挖掘、数据爬虫技术深度为主。下面把这些年个人在编程爬虫代码时用过的一些爬虫框架和爬虫经验给大家分享：不同的网站选择不通的技术策略和不同的框架组合。 （1）selenium框架： 我把这个框架取了一个名字叫...
2020-04-01 10:59:02
526
原创 我使用python的进程池技术下载企业工商数据，速度1000万条/天，超快！
这次主要是采用python的多线程、进程池技术，快速下载企业工商数据的方法# 每个线程负责爬取10万个url，那么开启100个线程，速度分分秒秒把企业工商数据全部跑下来，您电脑cpu和内存好的话，一天可以跑1000多万。这个python性能不错，感觉很爽！核心代码：# pool = threadpool.ThreadPool(100个线程)# mrequests = threadpo...
2020-02-24 14:36:12
758
原创 虎赢大数据：“企业工商数据价值挖掘”，是2020年大数据创业发展的方向之一
中国已到数字化革命阶段！如何把数据大变成大数据，如何把大数据变成数字产业经济已经成为一轮科技革命。全国各个省市在大力推动大数据和AI的发展。比如2019年苏州政府投入几十个亿来发展大数据，政府支持力度几乎做到“只要您是从事大数据或者AI或者是新能源”的创业都立项支持，而且当年就直接给50-500万的政府资金扶持，可见大数据创业时代已经超越当时的电商创业时代。抢先第一批做大数据创业，占领先机自...
2019-12-27 11:54:09
2220
1
原创 最新2018我破解了天某查 企某查 启某宝 企某猫和全国源站工商企业大数据爬虫系统
Python爬虫-2018年-我破解天某查和启某宝企业数据爬虫--破解反爬技术那些事情 最近在自己用python+mongdb写了一套分布式多线程的天某查爬虫系统，实现了对天某查整个网站的全部数据各种维度的采集和存储，并且根据天某查网页的数据结构建立了19个表来存储19个维度的数据，很多做技术的朋友在爬天某查的时候会遇到以下几个问题，我把我的经历和解决方案分享给大家。（需要爬虫技术交流的朋友...
2018-09-03 16:34:02
12984
8
基于python开欧洲外贸数据采集工具v3.0下载
2021-04-20
基于python开发的外贸大数据拓客软件v4.1.2下载
2021-04-12
新企业拓客工具运用在什么方面？
2021-03-30
虎赢优先查-新企采集拓客软件_v2.6版本
2020-11-17
虎赢优先查_v2.3官方版本.zip_代理记账企业专用大数据工具_日更新企业工商信息
2020-06-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人