- 博客(26)
- 收藏
- 关注
RSS订阅转载 初识数据库
数据库的概念 数据库的定义 可以理解为 数据库 是一个可以在一台机器上独立工作的，并且可以给我们提供高效、便捷的方式对数据进行增删改查的一种工具。 将所有的数据都存储在一个独立的机器上，而对用户提供服务的机器只是存放你写的代码。 数据库的优势 1.程序稳定性 ：这样任意一台服务所在的机器崩溃了都不会影响数据和另外的服务。 2.数据一致性 ：所有的数据都存...
2019-08-15 21:44:00
158
转载 学习Flask-flask的基础体系二档
Flask的路由系统 @app.route() 装饰器中的参数 methods:表示当前的url地址，允许访问的请求方式 @app.route("/info", methods=["GET", "POST"]) def student_info(): stu_id = int(request.args["id"]) return f"Hello Old b...
2019-08-15 20:32:00
133
转载 scrapy框架的递归解析和post请求方式
递归爬取解析多页页面数据 需求展示 将xx直聘网站搜索关键字后所有页码的作者和薪资数据进行爬取持久化存储 需求分析 每一个页面对应一个url，则scrapy工程需要对每一个页码对应的url依次发起请求，然后通过对应的解析方法进行作者和段子内容的解析 实现方案 1.将每一个页码对应的url存放到爬虫文件的起始url列表（start_urls）中。（不推荐） 2...
2019-08-15 20:26:00
185
转载 scrapy框架简介和基础应用
scrapy框架介绍 定义 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是要学习其框架的特性、各个功能的用法即可。 安装方式 Linux: pip3 install scrapy ...
2019-08-15 20:26:00
210
转载 MongoDB文件型数据库
初始MongoDB MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。 MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。 它和我们使用的关系型数据库最大的区别就是约束性,可以说文件型数据库几乎不存在约束性,理论上没有主外键约束,没有存储的数...
2019-08-15 20:25:00
247
转载 爬虫项目数据解析方式
数据解析 requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 因为大多数情况下的需求，我们都会指定去使用聚焦爬虫，也就是爬取页面中指定部分的数据值，而不是整个页面的数据，所以，我们的数据爬取的流程可以修改为： 指定url 基于requests模块发起请求 获取响应中的数据 数据解析 进行...
2019-08-15 20:25:00
318
转载 数据分析
数据分析 含义： 是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来，总结出所研究对象的内在规律 数据分析三剑客：Numpy,Pandas,Matplotlib Numpy NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。 创建ndarray 1.使用n...
2019-08-15 20:24:00
264
转载 爬虫项目代理操作和线程池爬取
代理操作 代理操作的目的 一些网站会有相应的反爬虫措施，例如很多网站会检测某一段时间某个IP的访问次数，如果访问频率太快以至于看起来不像正常访客，它可能就会会禁止这个IP的访问。所以我们需要设置一些代理IP，每隔一段时间换一个代理IP，就算IP被禁止，依然可以换个IP继续爬取。 什么是代理 代理服务器：fiddler 提供代理服务器ip的平台： 1.www.g...
2019-08-05 21:48:00
190
转载 Python网络爬虫
什么是爬虫 爬虫的定义： 爬虫就是通过编写程序模拟浏览器上网，然后让其去互联网上抓取数据的过程。 哪些语言可以实现爬虫： php:可以实现爬虫,但是php在实现爬虫中支持多线程和多进程方面做的不好。 java:可以实现爬虫。java可以非常好的处理和实现爬虫，但是java实现爬虫代码较为臃肿，重构成本较大。 C,C++:可以实现爬虫,但这种方式较难，都是大佬级...
2019-08-01 20:25:00
287
转载 Django多表操作
创建一个多表模型 表与表之间存在一对一，一对多，多对多的关系，加外键约束和不加外键约束的区别，一对一的外键约束是在一对多的约束上加上唯一约束。 创建一个简单的多表关联模型： 作者模型：一个作者有姓名和年龄。 作者详细模型：把作者的详情放到详情表，包含手机号，家庭住址等信息。作者详情模型和作者模型之间是一对一的关系（one-to-one） 出版商模型：出版商...
2019-05-28 21:51:00
109
转载 Django图书管理系统项目的搭建
基础配置： 新创一个django项目，取名为homework_book 在setting里进行基础配置 DATABASES={ 'default':{ 'ENGINE' : 'django.db.backends.mysql', #连接MYSQL数据库 'NAME' : 'bookhomework', #设置连接的库名...
2019-05-25 17:25:00
234
转载 Django单表增删改查操作
ORM简介 MVC或者MVC框架中包括一个重要的部分，就是ORM，它实现了数据模型与数据库的解耦，即数据模型的设计不需要依赖于特定的数据库，通过简单的配置就可以轻松更换数据库，这极大的减轻了开发人员的工作量，不需要面对因数据库变更而导致的无效劳动 ORM是“对象-关系-映射”的简称。（Object Relational Mapping，简称ORM）(将来会学一个sqlalchem...
2019-05-24 08:34:00
184
转载 JQuery操作方法
JQuery操作方法 位置操作： offser()方法：获取相对于整个document的位置,按照左上角来看$（'查找对象'）.offset()：获取从左上角来说的位置对应值$('查找对象').offset({left:200,top:200}):设置位置position方法：scrollTop()方法：获取滚轮相对整个屏幕来说移动了多少值$(window).scrollTop(...
2019-05-10 08:17:00
78
转载 Python入门基础知识点（模块）
常见的场景：一个模块就是一个包含了python定义和声明的文件，文件名就是模块名字加上.py的后缀。 但其实import加载的模块分为四个通用类别： 1 使用python编写的代码（.py文件） 2 已被编译为共享库或DLL的C或C++扩展 3 包好一组模块的包 4 使用C编写并链接到python解释器的内置模块 为何要使用模块？ 如果你退出p...
2019-03-19 19:57:00
113
转载 Python入门基础知识点（装饰器，推导式和内置函数）
装饰器 现在让你统计每个函数的执行时间，你怎么做？ import time #引入时间函数 def func1(): start = time.time() #定于开始的时间 print('in func1') #执行函数里的内容 print(time.time() - start) ...
2019-03-19 17:00:00
126
转载 Python入门基础知识点(生成器和推导式）
Python生成器 生成器的定义：生成器它的本质就是迭代器 我们知道的迭代器有两种：一种是调用方法直接返回的，一种是可迭代对象通过执行iter方法得到的，迭代器有的好处是可以节省内存。 如果在某些情况下，我们也需要节省内存,就只能自己写。我们自己写的这个能实现迭代器功能的东西就叫生成器 在python中有以下几种方式来获取生成器 1.通过生成器函数 2.通过各种推到式...
2019-03-17 11:22:00
99
转载 Python入门基础知识点(python迭代器和递归）
函数名的使用： 函数名是一个变量, 但它是一个特殊的变量, 与括号配合可以执行函数的变量 函数名的内存地址： def func(): pass print(func) # 函数的内存地址 结果：<function func at 0x000001C52AAEBD08> 函数名可以赋值给其他变量： def func(): ...
2019-03-15 17:12:00
177
转载 Python入门基础知识点(函数进阶）
动态参数： 动态接收位置参数： def eat(*args): #在形参位置，*叫做聚合 print('我想吃',args) eat('大米饭','中米饭','小米饭') # 收到的结果是一个tuple元祖 动态接收参数的时候要注意: 动态参数必须在位置参数后面，否则： def eat(*args,a,b): prin...
2019-03-14 20:57:00
97
转载 Python入门基础知识点 (初识函数）
什么是函数 然后现在有一个需求，让你计算'hello world'的长度，len方法突然不能直接用，你怎么计算？ s1 = "hello world" length = 0 for i in s1: length = length+1 print(length) 当计算另一个字符的长度时，还得需要再次使用以上方法进行测量 这样确实可以实现len方法的效...
2019-03-13 17:40:00
132
转载 Python入门基础知识点(文本操作)
文件操作基本流程 计算机系统分为：计算机硬件，操作系统，应用程序三部分。 我们用python或其他语言编写的应用程序若想要把数据永久保存下来，必须要保存于硬盘中，这就涉及到应用程序要操作硬件，众所周知，应用程序是无法直接操作硬件的，这就用到了操作系统。操作系统把复杂的硬件操作封装成简单的接口给用户/应用程序使用，其中文件就是操作系统提供给应用程序来操作硬盘虚拟概念，用户或应用程序通过...
2019-03-10 21:04:00
70
转载 Python入门基础知识点(判断比较和集合)
一，id，is，== 在Python中，id是什么？id是内存地址，比如你利用id()内置函数去查询一个数据的内存地址： name="guohui" print(id(name)) #2505979012296 那么 is 是什么？ == 又是什么？ == 是比较的两边的数值是否相等，而 is 是比较的两边的内存地址是否相等。 如果内存地址相等，那么这两边其实是指向同...
2019-03-10 20:30:00
145
转载 Python入门基础知识点(基础数据类型之字典)
基础数据类型： 列表的缺点： 1，列表如果存储的数据比较多，那么他的查询速度相对慢。 2，列表存储的数据关联性不强。 字典dict: 字典是python中唯一的映射类型，采用键值对（key-value）的形式存储数据。python对key进行哈希函数运算，根据计算的结果决定value的存储地址，所以字典是无序存储的，且key必...
2019-03-07 21:16:00
156
转载 Python入门基础知识点(基础数据类型之二)
基础数据类型: 字符串的缺点： 1，只能存储少量的数据。 2，s = '1True[1,2,3]' 无论索引，切片 获取的都是字符串类型，单一，转化成它原来的类型还需要再一步转换。 列表list 列表是python中的基础数据类型之一，其他语言中也有类似于列表的数据类型，比如js中叫数组，他是以[]括起来，每个元素以逗号隔开，而且他里面...
2019-03-05 20:20:00
69
转载 Python入门基础知识点(基础数据类型)
基础数据类型 数字int 数字主要是用于计算用的，使用方法并不是很多，就记住一种就可以： #bit_length() 当十进制用二进制表示时，最少使用的位数 v = 11 data = v.bit_length() print(data) 布尔值bool 布尔值就两种：True，False。就是反应条件的正确与否。 真 1 True。 假 ...
2019-03-05 20:08:00
103
转载 Python入门基础知识点（循环语句和编码)
格式化输出 字符串的拼接可以制作一个公共字符串模板，让某些位置变成动态的。 name = input('请输入姓名') age = input('请输入年龄') hobby = input('请输入爱好') msg = '我的姓名是' + name + '我今年' + age + '我的爱好是' + hobby print(msg) 现有一练习需求，问用户的姓名、年...
2019-03-02 11:10:00
142
转载 Python入门基础知识点（基础语法介绍）
计算机基础知识介绍 计算机核心部件分为CPU,内存，硬盘，操作系统 1.CPU：中央处理器，相当于人大脑 2.内存：临时存储数据。现在通常分为 8g和16g（不能替代硬盘的原因：1，成本高 2，断电即消失） 3.硬盘：长期存储大量的数据。 1T 512G等等，通常存储文件视频等等 4.操作系统：管理，协调，计算机硬件与计算机软件之间的'桥梁' Python2X和Pytho...
2019-03-02 10:06:00
130
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人