2020年08月_littlespider889

原创小福利，程序员必会技能，带你快速入门git工具和搭建github个人博客

大家好，我是天空之城，今天给大家带来小福利，程序员必会技能，带你快速入门git工具和搭建github个人博客首先去git官网(https://git-scm.com/)下载git工具，安装git 工具去github官网(https://github.com/)注册账户，存储代码或者下载别人代码创建一个新的文件夹，右键git bash here 出现命令窗口'git clone -b 远程分支名远程地址' 拉取远程项目，-b如果省略就是拉取master分支`git fetch`拉取远程版本库中所

2020-08-30 17:14:48 274

原创 linux操作系统命令快速入门（二）

大家好，我是天空之城，今天给大家带来linux操作系统命令快速入门（二）虚拟机VMware15中安装Ubuntu18.04步骤https://blog.csdn.net/qq_33287871/article/details/99212352Ubuntu18镜像文件&VM安装包链接：https://pan.baidu.com/s/1Lr9HozYHYTZCRnnv4tI1pg 提取码：6ht6Xshell连接不上VM的Ubuntu18ubuntu18.04配置镜像源https://bl

2020-08-27 09:31:55 87

原创小福利，python中子类继承父类的一些注意点

大家好，我是天空之城，今天给大家带来小福利，python中子类继承父类的一些注意点class Person: def __init__(self): self.name = "jack"class Student(Person): def __init__(self): super(Student, self).__init__() #这一行不可以省略 self.name='tom' self.school = "一中"

2020-08-25 19:30:12 589

原创小福利，带你使用scrapy框架爬取苏宁图书海量信息

大家好，我是天空之城，今天给大家带来小福利，带你使用scrapy框架爬取苏宁图书海量信息下图为项目的目录结构看下最后的数据截图，可以存为excel文件，也可以存入mysql数据库，参见前面文章介绍，下面是爬虫snb文件代码# -*- coding: utf-8 -*-import scrapyfrom copy import deepcopyimport reclass SnbSpider(scrapy.Spider): name = 'snb' allowed_do

2020-08-23 20:29:31 256

原创小福利，用scrapy框架中的CrawlSpider类构建爬虫获取信息

大家好，我是天空之城，今天给大家带来小福利，用scrapy框架中的CrawlSpider类构建爬虫获取信息下面项目的目录结构图最后获取的数据截图首先是cyg爬虫文件里面的代码# -*- coding: utf-8 -*-import scrapyfrom scrapy.linkextractors import LinkExtractorfrom scrapy.spiders import CrawlSpider, Ruleimport re'''1.创建CrawlSpider 创建

2020-08-23 17:30:02 219

原创小福利，带你使用scrapy框架爬取腾讯招聘信息保存为excel文件

大家好，我是天空之城，今天给大家带来小福利，带你使用scrapy框架爬取腾讯招聘信息。废话不说，直接上代码。项目总目录，如下图最后得到的excel文件截图爬虫文件hr代码# -*- coding: utf-8 -*-import scrapyimport json# from tencent.items import TencentItemfrom tencent.items import TencentItem# import requestsclass HrSpider(sc

2020-08-23 13:03:48 492

原创小福利，带你使用scrapy框架爬取豆瓣电影数据存储到mysql数据库中和保存为excel表格

大家好，我是天空之城，今天给大家带来小福利，带你使用scrapy框架爬取电影数据存储到mysql数据库中。话不多说，直接上代码。下图是整个scrapy项目的目录结构图首先在中控台建立scrapy工程项目，scrapy startproject douban再创立爬虫 scrapy genspider db douban.com下面是spiders爬虫db.py目录下代码import scrapyimport scrapy, bs4#在Scrapy中，每个爬虫的代码结构基本都如下所示：

2020-08-22 22:11:59 1181 1

原创 mysql数据库锁快速入门

mysql数据库锁快速入门数据库锁• 表锁• 行锁• 间隙锁锁是计算机协调多个进程或线程并发访问某一资源的机制表锁(偏读)偏向MyISAM存储引擎,开销小,加锁快;无死锁,锁定粒度大,发送锁冲突的概率最高,并发度低表锁案例建表create table mylock( id int not null primary key auto_increment, name varchar(20))engine myisam;插入数据insert into mylock(nam

2020-08-11 07:28:47 89

原创最近还在研究Django框架，乐趣无穷

最近还在研究Django框架，乐趣无穷好东西要分享，上网址https://www.bilibili.com/video/BV1R4411J7YF?p=1好好学习，不要暴殄天物！

2020-08-08 17:08:46 128

原创通过python抓取app数据

环境-Windows下搭建开发Android模拟器的安装及介绍安卓模拟器的安装夜神安卓模拟器,是全新一代的安卓模拟器,与传统安卓模拟器相比,基于Android4.4.2,兼容X86/AMD,在性能、稳定性、兼容性等方面有着巨大优势下载地址:https://www.yeshen.com/安装App安装App,可以直接通过应用中心来安装,如果在应用中心没有搜索到要安装的App,可以下载相应的APK文件fiddler软件介绍常见App抓包软件对比Fiddler 抓包软件介绍fiddler是

2020-08-05 18:43:46 727

原创 Mongodb的索引操作，与python的交互

Mongodb的索引操作1. 为什么mongdb需要创建索引• 加快查询速度• 进行数据的去重2. mongodb创建简单的索引方法• 语法：db.集合名.ensureIndex({属性:1})，1表示升序， -1表示降序3. 创建索引前后查询速度对比测试：插入10万条数据到数据库中插入数据for(i=0;i<100000;i++){db.test.insert({name:'test'+i,age:i})}创建索引前db.test.find({name:'test9999'})

2020-08-05 18:40:03 338

原创 MongoDB的增删改查和聚合命令

数据库命名规范1.不能是空字符串2.不得含有特殊字符3.应全部小写4.最多64个字节5.数据库名不能与现有系统保留库同名，如admin,localMongoDB的增删改查mongoDB中一张表称为一个集合mongoDB插入数据db.集合名.insert({}) 数据格式为json,id不能重复，支持多条插入数据库单条插入数据db.juran_collection.insert({x:1})多条插入数据for(i=3;i<10;i++)db.juran_collectio

2020-08-05 18:36:31 128

littlespider889的博客