自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(16)
  • 收藏
  • 关注

原创 HTTP听课笔记(一)

http前生今世HTTP 协议始于三十年前蒂姆·伯纳斯 - 李的一篇论文;HTTP/0.9 是个简单的文本协议,只能获取文本资源;HTTP/1.0 确立了大部分现在使用的技术,但它不是正式标准;HTTP/1.1 是目前互联网上使用最广泛的协议,功能也非常完善;HTTP/2 基于 Google 的 SPDY 协议,注重性能改善,但还未普及;HTTP/3 基于 Google 的 QUIC 协议,是将来的发展方向。http是什么?http又不是什么?http:超文本传输协议“超文本”

2020-11-22 10:41:46 12 1

原创 爬虫项项目总结七)(scrapy运行原理)

此博客仅用于不本人学习。如有侵权请联系我,立即删除。scrapy的流程:首先,spider给出开始的url,(start_urls的网址),然后将url交给engine(引擎),engine将url(request)交给scheduler进行排序入队,scheduler将request返回给engine,engine将request发送downloader,按照下载器中间件(middlewares)进行下载,将response返回给引擎,如果下载错误,engine将错误request发送给schedu

2020-11-04 11:35:47 9

原创 爬虫项目总结(六)(随机user-agent)

首先在settings.py中设置USER_AGENT = [ 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.418

2020-11-02 21:31:35 48

原创 爬虫项目总结(五)(ip池的使用)

此笔记只为本人复习为用,如有侵权请联系我,马上删除。(一)首先在setting.py进行设置IPPOOLS= ['http://183.207.95.45:80', 'http://202.85.213.220:3128']ITEM_PIPELINES = {P '项目的名字.pipelines.ProxiesPiplelines': 490,}然后再middlewares.py中进行设置class ProxiesMiddleware(object):

2020-11-02 20:59:48 194

原创 爬虫项目(斗图啦scrapy)

斗图啦网址https://www.doutula.com/photo/list/(1)分析网站 得到图片的地址(2)进入得到的网址分析(3)编写项目代码(4)scrapy爬取,源码items.pyimport scrapyclass DoutubaItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() name = scrapy.Fie

2020-10-20 15:21:25 28

原创 爬虫项目总结(四)(pipleline的存取)

数据库的存储:import pymysqlclass mysqlPipeline(object): def __init__(self): #数据库的连接 self.connect = pymysql.connections(host="127.0.0.1", user="root", passwd="root", db="test") #host 数据库地址 localhost一般 #user 数据库用户名

2020-10-18 19:10:29 36

原创 爬虫项目总结(三)(csv的用法)

“CSV”并不是一种单一的、定义明确的格式(尽管RFC 4180有一个被通常使用的定义)。因此在实践中,术语“CSV”泛指具有以下特征的任何文件:1.纯文本,使用某个字符集,比如ASCII、Unicode、EBCDIC或GB2312;2.由记录组成(典型的是每行一条记录);3.每条记录被分隔符分隔为字段(典型分隔符有逗号、分号或制表符;有时分隔符可以包括可选的空格);4.每条记录都有同样的字段序列。with open('st.csv', 'r', ) as fp: red = csv.re

2020-10-18 17:58:35 46

原创 爬虫项目总结(二)(json的读取)

一、json支持数据格式(1)对象(字典)-使用花括号 {}(2)列表(列表)-使用方括号 [ ](3)整形、浮点型、布尔、null(4)字符串类型(字符串必须要用双引号,不能用单引号)多个数据用逗号隔开json本质就是一个字符串。dumps的用法:person = [ { 'name': '李三', 'age': '23', 'sex': '男' }, { 'name': '韩五',

2020-10-18 16:59:23 34

原创 爬虫项目知识点总结(一)

此次总结只是为了学习记录本人遇到的问题和知识的回顾,方便复习,无其他作用。(1)开启redis服务 windows下的redisredis-server redis.windows.conf如果开启不成功 。。。报错creating server tcp listening socket 127.0.0.1:6379: bind No error需要以下执行redis-cli.exeshutdownexitredis-server.exe redis.windows.conf(2) 用

2020-09-29 20:20:54 29

原创 matplotlib听课的笔记(1)

首先导入包import numpy as npimport matplotlib.pyplot as plt第一种plt.plot([1, 2, 3, 4, 5], [1, 4, 9, 16, 25])plt.xlabel('xlabel',fontSize=16) #xlabel 为x轴名字, ylabel为y轴的名字 fontSize=16 控制字体大小plt.ylabel('ylabel')plt.show()第二种tan_numy = np.array([0,

2020-06-30 16:50:02 765

原创 springMvc步骤

在web.xml中dispatchservlet中url-parpam配置为/的前提下,首先执行DispatchServlet,由dispatchServlet调用handlerMapping,然后DefaultHandlerMapping去解析url,解析后调用handlerAdatper组件中的AnnotationMethodHandlerAdapter,调用controller中的HandMethod,当HandlerMethod执行完成后会返回View会被ViewResolver进行视图解析,

2020-05-28 12:11:02 61

原创 java基础写的银行系统

所学的java基础写的存取,转账,查看信息等Java Mysql有关的所有类和接口UserDao```jpackage com.libangzhen.dao;import java.util.List;import com.libangzhen.pojo.User;public interface UserDao { int insertUser(User user); int deleteUser(String account); int updateUser

2020-05-28 11:46:30 122

原创 java验证码代码实现

package com.bjsxt.servlet;import java.awt.Color;import java.awt.Font;import java.awt.Graphics2D;import java.awt.image.BufferedImage;import java.io.IOException;import java.util.ArrayList;import java.util.List;import java.util.Random;import javax.

2020-05-23 13:43:08 79

原创 mysql安装经验

一、先下载一个安装包这里我们用的是mysql-8.0.12-winx64 我会有这个包二、配置环境变量(1)找属性(2) 找高级设置(3) 环境变量(4)先新建一个 MYSQI_HOME 变量名 就是你的包的地址 如:D:\MYSQL\mysql-8.0.12-winx64(这个是你下载的位置)(5)找到Path 新建%MYSQL_HOME%\bin 在新建一个D:\MYSQL\mysql-8.0.12-winx64\bin (这个不知道建不建)反正我

2020-05-23 13:31:58 74

原创 xpath知识点总结

/ 逐层提取text() 提取标签下面的文本//标签名** 提取所有名为**的标签//标签名[@属性 = ‘属性值’] 提取属性为xx的标签@属性名 代表某个属性实列:提取标题:/html/head/title/text()提取所有的div标签 : //div/提取div中标签的内容: //div[@class=‘tools’]...

2020-05-23 13:28:10 50

原创 平院新闻爬取

from lxml import etreeimport requestsimport reimport jsondef getTreeData(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'} data = reque

2020-05-23 13:23:20 56

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除