我永远喜欢希露菲叶特-CSDN博客

原创 scrapy爬取csdn搜索文章，并将文章链接等信息保存到csv文件

首先分析网页接口，在搜索框搜索关键字java后，在network中查看接口，可以找到这个接口接口中的返回值即是我们需要的数据，我们就不用去分析网页html代码了。创建项目scrapy startproject csdnSpider创建爬虫scrapy genspider search_spider "csdb.net"爬虫代码import jsonimport scrapyfrom csdnSpider.items import CsdnspiderItemimport re

2021-02-24 11:14:49 379

原创 gevent学习

# gevent 学习# 协程称为微线程#进程与线程的关系很容易理解#可以把线程与协程的关系类比于进程与线程的关系'''因为python线程的性能问题，在python中使用多线程运行代码经常不能达到预期的效果。而有些时候我们的逻辑中又需要开更高的并发，或者简单的说，就是让我们的代码跑的更快，在同样时间内执行更多的有效逻辑、减少无用的等待。gevent就是一个现在很火、支持也很全面的python第三方协程库。gevent是python的一个并发框架，以微线程greenlet为核心，使用了epo

2021-02-17 19:13:44 373 1

原创 scrapy学习03--异步aiohttp练习

# 学习aiohttp# 第一步安装#pip install aiohttp -i https://pypi.douban.com/simple#pip install cchardet -i https://pypi.douban.com/simple# 客户端import aiohttpimport asyncioasync def fetch(session,url): async with session.get(url) as response:

2021-02-16 21:45:58 490

原创 scrapy练习02---同时爬取数据信息和图片

参考博客博客1博客2上图是爬出来的效果修改settings文件增加下载图片的管道以及图片的存储路径修改爬虫代码增加img 字段items文件内也要增加修改管道新增一个管道类下载图片需要继承ImagesPipeline重写其方法get_media_requests 获取图片链接请求下载file_path 重命名下载后的文件item_completed 下载完成之后的处理这里有几个坑点管道的方法内，有的方法需要加上return items 不然后续可能拿

2021-02-15 20:00:57 404

原创 python3学习12---scrapy学习

# 学习一下scrapy#基本概念'''Scrapy Engine（引擎）:负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。Scheduler(调度器):它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。Downloader(下载器):负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎

2021-02-14 19:38:39 305 1

原创 python3学习11--动态爬取图片、bilibili普通视频

#python3 爬虫爬取网络图片# 目标网站百度图片因为百度图片是动态加载的'''思路：首先打开百度图片搜索一个关键字然后打开f12network --》xhr向下滚动可以看到出现一个acjson开头的请求查看其preview里的数据，data中放着30张图片的数据，说明每次加载30张查看header 找到Query String Parameters 可以发现百度图片的请求参数'''import requests,osuser_agent ='Mozilla/

2021-02-13 18:54:27 2007 2

原创 python3学习---连接数据库，多线程，json，爬虫入门

# python3 连接mysql数据库'''先用pip在命令行窗口安装mysql-connector驱动pip install mysql-connector --index-url https://pypi.douban.com/simple'''import mysql.connectormydb=mysql.connector.connect( #连接数据库 host='127.0.0.1', user='root', passwd='123.com',

2021-02-12 22:26:00 259 1

原创 python3学习09--模块，正则

新年快乐！！！！！！！！！！！！！！！！！！！！！# python3 常用标准库预览# 操作系统接口 osimport osprint(os.getcwd()) #当前工作目录 F:\PycharmProjects\pythonStudy\study09'''os的方法很多但我这边是在ide里练习的目前感觉用不上很多制作了解'''# 文件通配符 glob#glob模块提供了一个函数用于从目录通配符搜索中生成文件列表import globprint(glob.glob('*.

2021-02-11 17:39:13 143 1

原创 python3学习---08面向对象、作用域

# python3 file文件方法#open方法'''Python open() 方法用于打开一个文件，并返回文件对象，在对文件进行处理过程都需要使用到这个函数，如果该文件无法被打开，会抛出 OSError。注意：使用 open() 方法一定要保证关闭文件对象，即调用 close() 方法。open() 函数常用形式是接收两个参数：文件名(file)和模式(mode)。'''#上次学习了open的基本格式,这里就不多赘述#f=open(f'C:\Users\zxy\Desktop\f

2021-02-10 19:10:31 286 3

原创 python学习07-输入输出

今天坐了4个多小时的车，终于从工作城市回家过年了有点累，也就学了很简单的一些内容# 读和写文件# open(filename,mode) #参数文件名和打开模式'''文件名就不多解释了，文件的名字模式：r 只读（默认）rb 以二进制格式打开文件用于只读r+ 读写rb+ 以二进制格式打开文件用于读写w 打开一个文件只用于写入。如果该文件已存在则打开文件，并从开头开始编辑，即原有内容会被删除。如果该文件不存在，创建新文件。wb 以二进制格式打开一个文件只用于写入。如果该文件已存

2021-02-09 00:13:19 115 1

原创 python3学习06 --包，模块

今天公司组织了篮球赛，打完放假了（打一半抽筋了23333）只学习了一点点记录一下吧# python3 模块'''模块是一个包含所有你定义的函数和变量的文件，其后缀名是.py。模块可以被别的程序引入，以使用该模块中的函数等功能。这也是使用 python 标准库的方法。'''import sysprint("python的路径为:",sys.path)#引入同包/同文件夹下的模块import supportsupport.print_func('zxy') #引入模块support

2021-02-07 17:52:55 130 1

原创 python3学习05---迭代器，函数

昨天玩了一会儿，文章忘更新了2333 补上# 迭代器与生成器'''迭代是Python最强大的功能之一，是访问集合元素的一种方式。迭代器是一个可以记住遍历的位置的对象。迭代器对象从集合的第一个元素开始访问，直到所有的元素被访问完结束。迭代器只能往前不会后退。迭代器有两个基本的方法：iter() 和 next()。字符串，列表或元组对象都可用于创建迭代器：'''list1=[1,2,3,4,5,6,7]print(iter(list1)) # 得到一个迭代器对象 <list_ite

2021-02-07 17:49:29 265 3

原创 python学习04-其他一些数据类型和控制语句

# list列表详细'''List 列表java中也有List，概念为集合python中List为列表有点像java中的数组但也像集合用[]创建一个list 列表是通过下标获取元素的'''list_test1=[]print(list_test1) #[]print(type(list_test1)) # <class 'list'># list_test1[0]='index1' #IndexError: list assignment index out of

2021-02-05 20:56:20 121 1

原创 python学习03-运算符、数值、字符串

# python3 运算符'''算数运算符+，-，*，/%取余，**幂 //向下取整'''a=10b=3print(a+b)print(a-b)print(a*b)print(a/b)print(a//b)print(a%b)print(a**b)'''比较运算符== , != ,>,<,>=,<=''''''赋值运算符= ，+=，-=，/=，%=，**=，//=，:=:= 海象运算符，刻在表达式内部为变量赋值''''''位运

2021-02-04 23:56:10 95 1

原创 python学习-第二天

今晚主要是python3的基础数据类型的学习。#等待用户输入# input("请输入：")#将输入的值输出# print(input("请输入"))#python执行代码是一行一行执行的，若在同行中使用多条语句，可以用;进行分割# print(888);print("999");# a=10# b=10# #多行代码租场的代码组称为子句（注意缩进格式）# if a==b:# print("a==b")# else:# print("a!=b")# 模

2021-02-03 23:51:09 75 1

原创 python学习01-基础语法

前言跳槽了，新offer是用python做爬虫和数据分析的，得从java转python了。记录下每天学习python的过程。基础部分先参考菜鸟教程安装python环境安装还是比较简单的，java安装得去配置环境变量之类的，我这边安装环境就直接用官网下载，然后直接安装。（这里选择的是最新版3.9）官网下载完成后安装时记得勾选add path。安装IDE，我选择的pycharm社区版，安装起来也没什么问题。基础语法hello world每次学习新语言都是以hello world开始的！

2021-02-03 00:38:35 116 2

原创 RabbitMQ学习记录

基本点RabbitMQ是一种消息队列。用于解决如下问题：模块与模块之间的耦合度过高问题。通讯成本过高问题它严格遵循AMQP协议。其简单架构由如下生产者：发布消息到exchange交换机（exchange）：和生产者建立连接并接受消息路由（route）：以一定的策略将exchange中的消息发送到queue队列（queue）：exchange会将消息根据路由策略分到指定的queue中，并与消费者交互消费者：消费消息完整架构（图源于网络资料截取）一个队列中的消息，只会被一个消

2021-01-25 00:17:11 79

原创 Redis常见问题总结

redis是单线程还是多线程？redis是单线程的，但在6.0后，支持了多线程，但命令还是以单线程为主redis为什么比较快1. 用C语言编写2. 数据都在内存中，单线程操作，没有涉及到cpu上下文切换等问题，所以效率较高各数据类型的使用场景String ： - 分布式锁（setnx） - 计数器 - 对象存储（json）list： - 消息排队 - 消息队列 - 栈set： - 数据去重 - 共同关注（sinter 交集）hash： - 用户信息（session

2021-01-23 20:46:16 89

原创 Redis学习笔记

为什么要用Redis由于用户量增大，请求熟练也随之增大，数据压力过大多台服务器之间，数据不同步多台服务器之间的锁，不存在互斥性。NosqlRedis就是一款NosqlNoSQL---->非关系型数据库----->Not only SQL。1.key-value：redus2.文档型：ElasticSearch,solr,Mongodb3.面向列:Hbase,cassandra4.图形化:Neo4j除了关系型数据库都是非关系型数据库NoSQL只是一种概念，反之非关系型

2020-09-20 13:33:27 163

原创 Nginx-学习笔记

Nginx的介绍为什么要学习Nginxq1：客户端到底要将请求发给那台服务器？q2：如果所有客户端请求都发生给了服务器1q3：客户端发送的请求可能是申请动态资源的，也有申请静态资源的在搭建集群后，使用Nginx做方向代理服务器。Nginx的介绍Nginx的特点：1.稳定性极强。7*24小时不间断运行。2.Nginx提供了非常丰富的配置实例。3.占用内存小，并发量高。Nginx的安装安装Nginxversion: '3.1'services: nginx: rest

2020-09-08 21:52:15 101 1

原创 docker学习----笔记记录

镜像的操作#拉取镜像docker pull 镜像名称#查看全部镜像docker images#删除镜像docker rmi 镜像id#镜像的导出docker save -o 导出的路径镜像id#加载镜像docker load -i 镜像文件 #修改镜像名 docker tag 镜像id 名字:版本容器的操作#运行容器docker run -d -p 宿主机端口:容器端口 --name 容器名称容器标识# -d表示后台运行 -p 为了映射linux端口和容器端口 --

2020-09-06 19:59:25 122

原创 Java知识点个人总结与理解

Java内存栈：存放基本类型的数据和对象的引用，但对象本身不存放在栈中，而是存放在堆中。堆：存放new出来的对象，注意创建出来的对象只包含各自的成员变量，不包括成员方法。常量池：存放常量，如基本类型的包装类(Integer、Short)和String代码段：用来存放从硬盘上读取的源程序代码。数据段：用来存放static修饰的静态成员Java垃圾回收回收的对象：无用的对象引用，匿名对...

2020-04-09 15:15:12 260

原创凡客建站--自适应酒店模板模仿

只是学习的模仿，无任何商业用处！凡客原网站

2019-09-05 18:23:48 291

原创飞翔的小鸟

这次是一个网页小游戏通过点击使小鸟飞过水管，然后积分。下面放出代码1.界面<!DOCTYPE html><html> <head> <meta charset="utf-8" /> <link rel="stylesheet" type="text/css" href="css/reset.css"/> &lt...

2019-09-05 17:52:42 1027

原创苹果官网首页页面设计

今天把原来学html时，做过的小项目拿出来写一下，总结一下。苹果官网这个首页，主要的要点在于它对于浏览器窗口大小的自适应变化目标图大页面中等页面小页面这里我只截取了一部分。它整个页面都会根据窗口大小来变化。实现代码页面<!DOCTYPE html><html> <head> <meta charset="utf-8" /&g...

2019-09-05 17:38:08 14194 10

原创一个月的JAVA总结

一个月的JAVA总结初遇java首次接触java是在大二上学期的时候，在学校老师讲的很快，再加上本来也没好好听讲，所以基本也没学到什么，为了应付考试和项目自己看过一些书，知道一些很少很少的用法。一、开始学习什么是java？java是一种编程语言java的优势是什么？我觉得java的应用范围很广，基本上方方面面都能涉及到，不过目前我学习的是面向网站的javaEE。JDK版本的选择...

2019-09-02 13:18:12 735

原创 JDBC与Dao模式的第一次项目训练——点餐系统

JDBC实战——点餐系统的实现数据库的设计类的设计采用Dao模式进行设计实体类package cn.ordersystem.entity;/** * 桌子的实体类 * bno,桌子的编号 * btype 桌子的状态，可为空 * @author vcc * */public class Board { private int bno; private int bty...

2019-09-02 13:02:53 981