代码改变世界

转载 ETL是什么（最有意思的比喻）

转载：https://blog.csdn.net/tuyi541601377/article/details/41011275/Extraction-Transformation-Loading的缩写，中文名称为数据提取、转换和加载。不好理解，那ETL到底是什么？先讲一个故事吧。       阿杰结婚一年了，事业家庭都稳定了下来，准备要生BB了，父母听到这个消息，非常高兴，坚持要从另一个城市搬过来...

原创 数据库中的存储过程

    存储过程就是你在工作中经常用的一些语句，你把他存起来，并起名字，要再用的时候直接执行就行了，不用再重复编写这个就像不重复造轮子一样的道理。把之前写好的拿来用，从而提高效率或做点标志不让自己忘记一样。     存储过程，带有逻辑的sql语句之前的sql没有条件判断，没有循环存储过程带上流程控制语句（if  while）存储过程特点1）执行效率非常快！存储过程是在数据库的服务器端执行的！！！2...

原创 爬虫基础

爬虫框架 Scrapy如果你是一个 Python 高手，基本的爬虫知识都已经掌握了，那么就寻觅一下 Python 框架吧，我选择的框架是Scrapy 框架。这个框架有什么强大的功能呢？下面是它的官方介绍：HTML, XML 源数据 选择及提取 的内置支持 提供了一系列在 spider 之间共享的可复用的过滤器(即 Item Loaders)，对智能处理爬取数据提供了内置支持。 通过 feed 导出...

原创 scrapy

     中间件可以理解为不用自己亲自去写代码，而是执行别人写好的代码，相当于接口。如操作数据库的Navicat也相当于一个中间件，不用自己亲自写sql语句，直接在那里点点点就可以执行sql语句了。可以把它理解为中介。...

原创 scrapy分布式

原创 win10下的mongodb的安装与把MongoDB的服务配置成win10的服务

 mongod --dbpath  D:\MongoDB\data\db（指定文件存放的路径） （用命令行启动先配置好数据存放的路径，否则会报错）D:\MongoDB\bin> mongod --bind_ip  0.0.0.0  --logpath D:\MongoDB\data\log\mongo.log.txt  --logappend   --dbpath D:\MongoDB\da...

原创 PyCharm使用技巧（PyCharm2017.2的版本）

PyCharm看源码：按住Ctrl再鼠标右键点击那个方法就可以看到了。

原创 Anaconda简介

anaconda是python发行的包的管理工具，其中自带python的版本，还带很多python的包.安装它比安装python好。可以省掉再安装python包的时间。

转载 Windows下配置Chrome WebDriver

详情请参考：https://blog.csdn.net/u013360850/article/details/54962248

转载 python的深浅拷贝

详情请查看：https://blog.csdn.net/vicken520/article/details/8227524个人总结：深拷贝就是拷贝原来定义的东西，定义后再通过方法改变的东西不会拷贝。浅拷贝就是只拷贝父对象，父对象中的子对象添加的东西也会拷贝，但是再往父对象内部添加的子对象就不会拷贝了。. copy.copy 浅拷贝 只拷贝父对象，不会拷贝对象的内部的子对象。2. copy.deep...