- 博客(26)
- 收藏
- 关注
RSS订阅原创 KNN算法实现
# 构建参考数据集 movie_data = {"宝贝当家": [45, 2, 9, "喜剧片"], "美人鱼": [21, 17, 5, "喜剧片"], "澳门风云3": [54, 9, 11, "喜剧片"], "功夫熊猫3": [39, 0, 31, "喜剧片"], "谍影重重": ...
2019-11-18 21:00:18
174
原创 爬虫笔记八
1.爬取网站的流程： 1、确定网站哪个url是数据的来源。 2.简要分析一下网站结构，查看数据一般放在哪里。 3.查看是否有分页，解决分页的问题。 4.发送请求，查看response.text里面是否有我们想要的数据内容。 5.如果有数据，就用相应的提取数据的方法提取数据保存。 6.如果没有，我们就可以通过以下两种方法来实现爬取： （1）分析数据来源，查看是否通过一些接口获取到的页面数据。（首推）...
2019-11-05 20:10:49
214
原创 爬虫笔记七
1.什么是程序、进程和线程。 程序：一个应用可以当做一个程序，比如qq软件 进程：程序运行最小的资源分配单位。一个程序可以有多个进程。 线程：cpu最小的调度单位，必须依赖进程而存在。线程没有独立的资源，所有线程共享他所在进程的资源。 他们之间的关系：一个程序至少有一个进程，一个进程至少有一个线程。 2.多线程：多线程是指一个程序包含多个并行的线程来完成不同的任务。 多线程的优点：可以提高cpu的...
2019-11-04 22:27:16
98
原创 爬虫笔记六
1.selenium操作浏览器的方法。 2安装anaconda中遇到的问题？ 遇到多版本兼容怎么办？有python和anaconda两个想用anaconda如何配置环境变量？ path环境变量的意义：让系统找到一些exe文件。 1.如何配置？ （1）配置一下路径： C:\Anaconda3----python.exe C:\Anaconda3\Scripts----pip.exe （2）把这两个目...
2019-11-01 20:50:37
78
原创 爬虫笔记五
两个综合案例： 1.代理池 池思想 元类 2.ajax综合 qq音乐下载。 项目的分类。 ============================================================== 1、爬取网站的流程： 1、确定网站哪个url是数据的来源。 2.简要分析一下网站结构，查看数据一般放在哪里。 3.查看是否有分页，解决分页的问题。 4.发送请求，查看response....
2019-10-31 21:42:21
183
原创 爬虫笔记四
持久化：将数据保存到硬盘上。 序列化：将一个类保存文件中，叫序列化 反序列化：从一个文件中读取出一个类。 ======================================================= 1.什么是xml。 （1）定义：xml称为可扩展标记性语言。 （2）特点：xml具有自描述特性。是一种半结构化数据。 （3）作用：xml的设计宗旨是用来传输数据。 2.xml和htm...
2019-10-30 21:28:35
96
原创 爬虫笔记三 cookie 和 session和 正则 和 数据类型 和 代理
cookie 和 session 产生的原因：http协议无状态，访问之间不能通讯 cookie 指某些网站为了辨别用户身份、进行会话跟踪而存储在用户本地终端上的数据。 做爬虫时，使用账号登录，封装cookie信息到headers字典 cookie和色三四年一般配合使用 cookie被禁用时： 1.提示他必须开启。 2.使用url重传。—就是将sessionid附带...
2019-10-29 20:31:43
158
原创 爬虫笔记二
斐波那契数列指的是这样一个数列：1、1、2、3、5、8、13、21、34、……在数学上，斐波那契数列以如下被以递推的方法定义：F(1)=1，F(2)=1, F(n)=F(n-1)+F(n-2)（n>=3，n∈N*） def F(n): if n == 1 or n==2: return 1 return F(n-1)+F(n-2) 求一个list的最大值和最小值，用递归的方法。返回值是一个元...
2019-10-28 20:38:14
393
原创 爬虫笔记一
1.网络爬虫的定义： 一个程序脚本—>自动的抓取互联网上信息的脚本。 2、爬虫可以解决的问题： （1）解决冷启动问题。 （2）搜索引擎的根基：做搜索引擎少不了爬虫。 （3）建立知识图谱，帮助建立机器学习知识图谱。 （4）可以制作各种商品的比价软件，趋势分析。 初级爬虫工程师 1.web 前端的知识： HTML、CSS、JavaSc1ipt、 DOM、 DHTML 、Ajax、jQuery、j...
2019-10-27 19:30:38
250
原创 mysql/mariadb 常用命令自用
库 show databases ：显示所有库 create database dbname ：创建名为dbname的库 use db ：使用库db drop database dbname ：删除dbname库 表 show tables ：显示当前库中所有表 create table tbname（字段1 限定，字段2 限定，字段3 限定，…）charset=编码格式 drop table t...
2019-09-05 20:50:32
89
原创 数据库有用操作
数据库、表备份、还原 备份表：mysqldump -uroot -p 库名 表名>文件.sql 备份库：mysqldump -uroot -p 库名>文件.sql 数据导入（还原）：mysql -uroot -p 库名 < 文件.sql **修改密码： update user表中的authentication_string ** 如果忘记密码怎么办 修改配置文件 在mysql...
2019-09-04 21:53:21
60
原创 数据库的基本概念
数据库基础概念 数据库： 存储数据的仓库，按照数据结构，来组织，管理和存储数据，并提供了增删改查的功能。 数据库的建模：用来描述业务实体之间的关系 事务： 将一组增删改的操作看成一个独立的执行单元，要么都成功，如果有一个操作失败，那么数据库会执行回滚，一组操作都不会生效。 事务的特性： 原子性：事务被当做一个不可分割的执行单元，要么全部成功，要么全部失败，成功则将数据应用到数据库，失败不会对数据产...
2019-09-04 21:16:44
82
原创 MySQL 常用语句
MySql基本操作 SQL语句对大小写不敏感，但是在文本中一般将关键字大写 。 SQL语句末端使用分号表示语句结束，没有分号直接回车不会执行命令。 基本 命令： 连接数据库 mysql -u 用户名 -p 密码 -h 主机地址（本地库默认localhost可以不写） -P 端口 默认3306； 创建数据库： CREATE DATABASE 数据库名 CHARSETutf8(编码格式) 查看所有数据...
2019-08-23 21:43:36
107
原创 css样式
css 简介 css：层叠样式表，用于网页的布局和美化，定义如何显示html的元素 css的三种引入方式： 1、行内式： 给标签添加style属性，在style属性了写入样式。 <h1 style="height:100px; weight:20px; color:red"> 2、内嵌式： 在标签内添加<head> <style> p{height:10...
2019-08-23 20:57:19
73
原创 数据库介绍与压缩包版MySQL安装
数据库：提供增、删、改、查功能的存放数据的仓库。 MySQL：MySQL是一个管理数据库的软件，并不是一个数据库。 核心定义 数据库事务：作为一个单元的一组有序的数据库操作。 个人理解：为了保证数据库数据的有效性和减少因意外或者错误操作造成对数据库数据的影响，数据库操作将一系列有序的操作作为一个基本的生效单元。也就是说这一系列的操作如果全部完成才对数据库产生永久的影响，如果其中有一步出现错误或者缺...
2019-08-22 21:34:57
113
原创 一道面试题的几种解法
最近接触到一道比较有意思的面试题，题目的解法很简单，我会列出几种解法。 题目的要求是读取一个文本文件，然后计算出其中的词频（也就是统计每个字符出现的次数）。 这道题可以分成两个部分：一部分是文件的操作，另一部分是对打开的文件进行统计。 读取文件的方法比较简单： 假定文件是‘d:\New\test.txt’ 方法一: text = open('d:\\New\\test.txt','r') # 在...
2019-08-11 18:37:53
147
原创 pythonTCP 三次握手 四次挥手
python中的TCP协议是一种面向连接的网络协议。初学的时候，连接操作和断开操作，也就是三次握手和四次挥手看得我一脸懵逼，在百度找了各路解释以后，终于有了一点自己的理解。 先解释一下我对这些关键词的理解： SYN：发起一个连接的请求 ACK：表示确认状态的一个东西，需要表示确认的时候，给个1给它 就变成了 ACK= 1，不用的时候他自己变成0 FIN：发起一个结束的请求 注：上述三个 ...
2019-08-09 19:48:33
290
原创 python 文件的读写操作
python基础–文件操作 一、文件介绍 文件大体上分为文本文件和二进制文件，在python操作中，读写文件的方法调用只进行路径（path）和文件（file）的区分 二、文件的读写操作 c = open('f:\\a.txt','r') dict1 = [] while True: a = c.readline() if len(a) <= 1: break...
2019-08-08 20:31:32
155
原创 python 的基础知识（基础概念，语法结构，常用函数。。）
python 基础知识总结 一、初识python 1、python 介绍 python是一门已经诞生了30年的编程语言，其开发者 Guido van Rossum 抱着让python这门语言能更快、更好的发展的想法，欢迎所有优秀的人对其进行改进。作为使用者，你可以自由的读取python的源代码并对其做出修改。 作为一门不断发展的语言，python的有点是毋庸置疑的： python简洁的语言...
2019-08-03 15:27:16
411
原创 python 类的简单应用--一个简单的扑克游戏
学python刚学到类的时候无意间看到有人说作了一个扑克牌的游戏 然后一时兴起试着写了一个简单的比大小的游戏，顺便找一下多年逢赌必输的真相 o.o
2019-08-03 10:57:02
2589
3
原创 python中类（class）的基础定义和属性以及一些简单实用的应用
面向对象 类 # 定义一个类 class Cat(): # 类的命名按大驼峰命名规范，即每个单词的首字母大写（语法上并无逻辑要求） def __init__(self,name,weight): # 初始化，为内建组件，但是我们可以对其参数进行设定 self.name = name # 在此添加的参数是类的对象的初始值，所有在init函数中定义个变量 # ...
2019-07-26 21:49:22
3452
原创 字符串的基本使用规则、推导式和常用的几种模块的应用(代码及简单解释)
第一部分： 切片 a = ‘1234abcd’ print(a[4]) # a print(a[-3]) # b print(a[2:5]) # ‘34a’ print(a[-3:-7]) # 空 排列正序，切片反序 无交集 print(a[-7:-3]) # ‘234a’ print(a[-3:-7:-1]) # ‘a432’ print(a[::3]) # ‘14c’ print...
2019-07-25 20:53:11
490
原创 Python基础 数据类型、变量、运算符
一、 数据类型 数字： int float bool complex 元组 列表 字典 字符串 集合 二、 输入命令 input（） 输入的内容默认为字符串格式 三、类型转换 各种数据类型之间相互转换以函数达成： int（） float() bool() complex() 四、进制转换 int（字符串，进制数）可转换其他进制数为十进制 hex() , oct(), bin() 分别对应 转化为...
2019-07-18 21:46:16
69
原创 20190715
python 第一次正式课 基础概念 ‘’‘用于分析成绩并分级 90以上是优秀 80-90 良好 70-80 一般 60-70 及格 60以下 不及格’’’ score = 123 # 需要进行判断的学生成绩 if score >= 90: print(‘优秀’) elif score >= 80 and score < 90: print(‘良好’) elif score ...
2019-07-15 22:03:35
91
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人