- 博客(14)
- 收藏
- 关注
RSS订阅原创 为什么要建数据仓库
为什么要建数据仓库？（什么情况下我们才需要建数据仓库？）1.当你需要集中化管理你的数据时2.当你希望以更高效的数据方式使用数据时3.当你的数据量和复杂程度到了需要一个团队来维护是4. 当你希望想要数据驱动业务是5.当你想要借助大数据的力量来提升产品竞争力时6.当你想要时刻知道业务发展情况时...
2020-11-03 23:02:42
895
原创 标题win10下idea调试MapReduce程序报错空对象
## 标题win10下idea调试MapReduce程序报错空对象#在win10用idea进行MapReduce程序开发时，在提交任务那步报了空对象这个错了，这个时候只需要下载hadoop对应版本的hadoop.dll，并将其放到本地电脑的C:\Windows\System32目录下即可解决，不用本地电脑也装一套hadoop!亲测目前可用！...
2020-10-18 23:01:52
98
原创 oracle和mysql结构区别
oracle和mysql结构区别oracle: 数据库–实例–用户–表空间–表；mysql: 用户–数据库–表。
2019-11-10 16:39:32
526
1
原创 Python方法和函数
关于Python方法和函数1.方法不用传入参数（参数是隐式传入的），直接采用obj.方法（），方法直接利用的对象中的数据class Person(object): def __init__(self,name,age): self.name = name self.age = age def zwjs(self): print(s...
2019-05-31 15:04:53
435
原创 关于进程和线程的粗暴理解
进程：假如，卫生间只有一个坑，A上厕需要1分钟，B上厕所需要20分钟，但厕所只能容纳一个人上厕所。以前的计算机只能等B上完厕所以后A才能进去，但B上厕所慢，A又十分着急，马上就要憋死了。所以，此时进程的概念就出来了，当A在B没有出来的时候，A又不得不进去的时候，那就让B立即暂停，先出来让A进去，等A进去拉完以后或者拉一半的时候，再让B进去接着刚才的拉，以此循环！ 多进程：就是多开几个坑！ 线程...
2018-08-21 05:51:44
72
原创 今日头条图片的爬取
import reimport requestsimport jsonimport osfrom urllib import requestheaders = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.9...
2018-08-16 22:40:24
252
原创 爬取方法之requests
操作步骤 1.导入 import requests 2.伪装数据：url、headers、ipform等 3.打开页面：response = requests.get/post(伪装的数据) 4.下载数据：response.content等方法
2018-08-16 00:47:56
125
原创 爬取雪球网数据储存到数据库
import requestsimport jsonimport pymysqlurl = 'https://xueqiu.com/v4/statuses/public_timeline_by_category.json?since_id=-1&max_id=-1&count=10&category=111'headers = { 'Cookie': 'al...
2018-08-16 00:42:30
643
原创 renren
from Day1.tuozhan_all import post, getimport jsonfrom urllib import request, parse# 保存cookiefrom http import cookiejar# 通过对象保存cookiecookie_object = cookiejar.CookieJar()# handler 对应着一个操作handl...
2018-08-15 09:25:43
234
原创 renren
from tuozhan_all import sessionimport json# urlurl = 'http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=2018721441132'# formform = { 'email': '18510556963', 'icode': '', '...
2018-08-15 09:24:26
674
原创 爬虫基础之代码优化---封装
from urllib import request, parse from urllib.error import HTTPError, URLErrorget请求 def get(url, headers=None): return urlrequests(url, headers=headers)post请求 def post(url,...
2018-08-14 01:12:23
266
原创 关于Cookie和Session
1.为什么会有Cookie和Session？ HTTP是一种无状态的协议，无法标记是谁发起的请求，为了分辨链接是谁发起的，则引入了Session和Cookie这两个机制。 2.Cookie是什么？ 当你访问服务器时，服务器给你贴了一个标签，储存在浏览器上，以便再次访问时的快速识别 3.Session是什么？ Session是在服务端保存的一个数据结构，用来跟踪用户的状态，这个数据可以保存...
2018-08-14 00:58:21
75
原创 django框架编写网站商城的心得体会：
1.request请求：主要用于获得模板中的数据 2.模型查询：用于获取数据库的数据，语法：模型类名.object.方法 3.juquery选择器、ajax、jquery事件
2018-08-14 00:44:48
1133
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人