- 博客(35)
- 收藏
- 关注
RSS订阅原创 推荐系统架构与机器学习基础理论
推荐系统架构与机器学习基础理论机器学习之推荐系统发展概述与架构原理机器学习“思维”推荐系统的应用场景推荐系统的架构机器学习出现的原因优化问题与凸优化问题一维与多维推荐系统的出现背景信息过载分类导航：信息缺乏，用户主动寻找信息搜索引擎：信息丰富，用户主动寻找信息推荐系统：信息泛滥，信息寻找用户搜索引擎与推荐系统的区别搜索引擎与推荐系统的主要区别：搜索引擎：满足用户有明确目的时主动查找的需求推荐系统：帮助用户在没有明确目的时，发现感兴趣的 内容对舰系统的构成
2020-06-21 22:21:15
201
原创 Python_机器学习_Hadoop海量数据实现原理
Hadoop海量数据实现原理单点结构面临的问题集群架构面临的问题Hadoop集群架构冗余化数据存储分布式文件系统单点结构海量数据例子集群架构2. 集群架构面临的问题节点故障网络带宽瓶颈3. Hadoop 分布式集群Map-Reduce集群运算问题的解决方案在多节点上冗余地存储数据，以保证数据的持续性将计算移向数据端，以最大程度减少数据移动简单的程序模型，隐藏所有的复杂度4.冗余化数据存储结构分布式文件存储系统：提供全局的文件命名空间，冗余度和可获取
2020-06-21 16:32:11
495
原创 Python学习之机器学习
机器学习机器学习知识体系介绍机器学习与规则编写程序的区别机器学习原理图机器学习的学习路径和方法机器学习需要哪些知识概率统计与机器学习之间的关系推荐参考书籍1. 机器学习与规则编写程序的区别1.5 传统规则程序与机器学习区别解决方案需要规则列表超长问题，通过机器学习可以简化代码， 提升执行表现对于传统技术手段根本无法解决的复杂问题，通过机器学习可以 找到方案对于环境波动：机器学习系统可以适应新的数据从复杂问题和海量数据中获得更多人类未曾意识到的关联性或者 趋势2. 机
2020-06-21 16:32:01
404
1
原创 Python学习之特征工程
特征工程–机器学习之前的准备课程目标机器学习的简单理解机器学习中的基础概念机器学习模型雪莲工作原理机器学习执行流程数据处理对机器学习的重要性特征工程一个机器学习项目的数据处理流程机器学习的简单理解机器学习：选择一种学习算法，从数据中学习并建立成模型来 对新的数据进行预测的计算机科学机器学习适用于：不存在已知算法解决方案的复杂问题需要大量手动调整或者规则列表超长的问题可以适应环境波动的系统机器学习就是要用数据和算法训练有效的模型，再用模型去预 测新的数据机器学习中
2020-05-24 16:05:57
781
1
原创 Python数据分析和数据挖掘
下载数据分析助手jupyter notebook在命令行cd 打开需要保存的文件目录启动jupyter notebookJupyter Notebook 内置的魔法命令%run打开文件目录下的python文件%load可以调用打开python文件中的函数%timeit显示这个段落运行的时间,%timeit 后面只跟一句代码测试代码块 用%%timeit#在python中使...
2020-05-16 17:19:00
758
2
原创 Scrapy-Redis分布式爬虫
本节目表Redis的数据库结构与数据类型Redis中的常用命令Python操作Redis1.Redis的数据库结构和数据类型Redis中有16个数据库db(0) ~ db(15)开启Redis后默认使用db(0)切换数据库：select 【index】例如：切换到db1 select 1Redis的数据类型2.Redis的常用命令3.Python操...
2020-04-20 19:56:06
127
原创 urllib实战与反爬策略
urllib实战与反爬策略详解Http请求协议关键字说明Request URL请求的URL地址Request Method请求方法Status Code状态码Remote Address远端地址Connection连接类型Content-Encoding数据压缩方式，常用压缩算法：Content-Encoding:zip,Conte...
2020-04-20 06:26:13
166
原创 Scrapy框架原理学习
Scrapy框架原理Scrapy异步框架核心原理同步与异步Scrapy运行原理同步与异步同步：是下一个方法依赖于上一个方法的结果异步：下一个方法不依赖于上一个方法的结果同步爬虫程序的问题：href_s = [url1,url2,url3]for href in href_s:response = urlopen(href).read()//处理response只有前一个...
2020-04-09 19:15:09
237
原创 Python爬虫入门——数据提取与清晰策略
Python爬虫入门——数据提取与清晰策略正则表达式表达式说明.除了\n和\r的所有字符\d数字\D非数字\w数字字母和下划线\W非数字字母和下划线\s空格（包括制表符、换页符）--------------------------------------------------------------------[a-...
2020-03-29 14:50:57
353
原创 Django高级——中间件Django Middleware应用
中间件Django Middleware应用本节目表中间件的原理中间件的使用中间件的原理中间件的使用定义中间件在settings中配置中间件定义中间件#1. 定义中间件from django.utils.deprecation import MiddlewareMixinclass MyMiddleware(MiddlewareMixin): def __...
2020-03-22 19:31:56
169
原创 Django高级——模型类的多表操作
模型类的多表操作本节目表模型类一对多、多对多定义外键维护关系定义自关联案例外键的种类关键字说明ForeignKey一对多ManyToManyField多对多OneToOneFiled一对一外键的常用参数关键字说明to引用的模型类（自关联‘self’）on_delete外键约束：models.CASCADE ...
2020-03-22 19:18:40
103
原创 Django高级——CSRF
CSRF跨域攻击原理当访问官方指定网址时把URL地址发送给后台服务器后台服务器生成一个csrf_token通过渲染的方式返回给前端页面前端提交数据时会把提交的数据以及csrf_token提交给后台服务器后天服务器将csrf_token进行比对csrf_token往往存储在cookie中，且在POST数据时使用CSRF跨域攻击实例与防范CSRF跨域攻击案例在Django取消C...
2020-03-22 15:38:29
138
原创 Django高级————表单数据的提交与接收
表单数据的提交与接收本节目表表单编写Get与Post 的请求方式后天数据获取表单编写复习表单标签form的编写form标签提交地址 action提交方法 methodgetpost提交文件 enctype=“multipart/form-data”例如：复习input标签Inputtype=“text” 文本输入框type=“password” 密码输入框...
2020-03-22 11:35:48
2324
原创 Django高级————Django链接Redis服务
Django链接Redis服务本节目表Redis 的特点Redis服务环境搭建Settings设置Redis 的特点非关系型数据库（没有table）数据读写的速度快(采用内存存储机制)可以存储的数据量少Redis服务环境搭建安装redis（注意勾选添加环境变量）安装包pip install redispip install django-redispip...
2020-03-22 11:03:11
118
原创 Django高级
django高级Cookie安全性与生命周期本节目表Cookie的原理Cookie的设置与获取Cookie的安全性Cookie的原理Cookie是有服务器生成，存储在浏览器中的键值对数据每个域名的Cookie相互独立浏览器访问域名为A的url地址，会把A域名下的Cookie一起传递到服务器Cookie可设置过期时间Cookie的设置与获取分别建立一个设置Cooki...
2020-03-22 10:17:27
86
原创 Django框架搭建和初识
Django框架搭建pip install django==2.2 下载django框架新建django 项目django 项目下文件夹与项目同名的为主文件，其他为app文件主文件下settings.py为配置django框架的文件，可配置语言、时区、添加app功能等除创建Django项目时可创建app外，在命令行内输入django-admin startapp 加APP名也可以创建A...
2020-03-18 05:28:59
117
原创 QuerySet详解
QuerySet详解懒加载原理链式调用1. 懒加载原理users = User.objects.all()for user in users:print(user.username)当使用到模型类的数据时，才向数据库加载数据的具体内容，懒加载的好处：节省内存2. 链式调用QuerySet方法返回类型说明get()模型对象满足条件的唯一对象al...
2020-03-16 21:08:11
462
原创 Django中表与字段的定义和约束语句
Django中表与字段的定义在app文件夹下models.py中建立表与字段#这里定义表和字段后将以user_user的形式（app名+类名）class User(models.Model): #AutoField相当于int类型auto_increment自增约束 id = models.AutoField(primary_key=True) #CharFiel...
2020-03-16 20:49:14
272
原创 PYTHON之ORM原理与数据库配置
ORM原理与数据库配置ORM原理数据库配置ORM原理SQL语句有弊端，语句不好写，而且各种数据库语句不通用通过用ORM语法建立ORM框架通过ORM框架链接各种SQL语句数据库配置Django中默认采用SQLite数据库setting中：DATABASES={‘default’:{‘ENGLNE’:‘django.db.backends.sqlite3’,‘NAME’...
2020-03-15 18:01:01
138
原创 HTML之上下文与模板调用
上下文与模板调用模板的原理模板的调用模板的传参模板的原理在templates,建立HTML文件在views下函数内添加返回参数，添加返回模板<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Title</t...
2020-03-15 12:45:21
228
原创 Python抛错方法
Python 的抛错方法‘’’Python 抛错try:except ValueError as e:…except ZeroDivisionError as e:…finally:…raise 抛出异常自定义异常，所有异常都继承于BaseException‘’’'''# try:# print('try...')# a = 100/0# ...
2020-03-08 09:53:02
984
原创 python的常用设计模式之装饰器和其他
‘’’1.理解Python中函数即变量2.Map函数3.Reduce函数4.匿名函数5.装饰器‘’’‘’’变量可以指向函数函数名也可以是变量‘’’#举例print(abs(-10))#尝试变量赋值f = absprint(f)print(f(-10))#不要对函数赋值，否则函数会被覆盖# abs=10# abd(-10)#错误、#把函数或方法当做参数传进...
2020-03-08 07:45:07
73
原创 python的高级用法：生成器、迭代器
列表生成式#1.列表生成式d = {'x':'A','y':'B','z':'C'}print([k+'='+v for k ,v in d.items()])#生成list,[1到10]print(list(range(1,11)))#生成[1*1,2*2...]print([x*x for x in range(1,11)])#'abc','123' ,输出 a1,a2...
2020-03-08 06:29:12
208
原创 Python之面向对象编程
面向对象编程1.面向对象编程2.类和实例3.访问限制4.实例属性和类属性1.面向对象1.设计类2.属性和方法class Student(object): #类内的叫方法，self指向创建的实例本身 #初始属性方法 def __init__(self,name,score): self.name = name self.scor...
2020-03-05 19:09:46
92
原创 JavaScript
JavaScript了解和介绍：JavaScript（简称“JS”） 是一种具有函数优先的轻量级，解释型或即时编译型的编程语言。虽然它是作为开发Web页面的脚本语言而出名的，但是它也被用到了很多非浏览器环境中，JavaScript 基于原型编程、多范式的动态脚本语言，并且支持面向对象、命令式和声明式（如函数式编程）风格。JavaScript在1995年由Netscape公司的Brendan E...
2020-02-18 15:24:16
381
原创 CSS的了解和操作语法
CSSCSS的了解层叠样式表(英文全称：Cascading Style Sheets)是一种用来表现HTML（标准通用标记语言的一个应用）或XML（标准通用标记语言的一个子集）等文件样式的计算机语言。CSS不仅可以静态地修饰网页，还可以配合各种脚本语言动态地对网页各元素进行格式化。CSS 能够对网页中元素位置的排版进行像素级精确控制，支持几乎所有的字体字号样式，拥有对网页对象和模型样式编辑的...
2020-02-18 13:58:22
82
原创 HTML了解和操作
HTML1. HTML介绍HTML是Hyper Text Markup Language (超文本标记语言)的缩写HTML不是一种编程语言，而是标记语言2. HTML的语法双标签:<标签名></标签名>单标签:<标签名/>3. 元素和属性<标签名 属性名=属性值>元素</标签名><标签名属性名=属性值/&g...
2020-02-18 12:48:23
94
原创 数据库的介绍和Mysql数据库工具的操作
1.数据库的创建与删除操作命令创建数据库create database 【数据库名】;删除数据drop database【数据库名】;2.使用与查看数据库操作命令使用数据库use 【数据库名】;查看所有的数据库show databases;查看当前使用数据库selcet database();3.数据库编码...
2020-02-18 09:48:03
149
原创 Python学习4
#装饰器#装饰器：本质是函数，用来（装饰其他函数），就是为其他函数添加附加功能#原则：1.不能修改被装饰的函数的源代码 #2.不能修改被装饰函数的调用方式 #3.def logger(): print('logging')def tset1(): pass logger()def tesr2(): pass logger(...
2020-02-08 10:59:52
229
原创 Pycharm快捷键
常用快捷键快捷键 功能Ctrl + Q 快速查看文档Ctrl + F1 显示错误描述或警告信息Ctrl + / 行注释（可选中多行）Ctrl + Alt + L 代码格式化Ctrl + Alt + O 自动导入Ctrl + Alt + I 自动缩进Tab / Shift + Tab 缩进、不缩进当前行（可选中多行）Ctrl+C/Ctrl+Insert 复制当前行或选定的代码块到剪...
2020-02-06 09:40:29
84
转载 Python内置函数
Duang！68个内置函数分类记忆数学运算 × 7abs() 、 divmod() 、 max() 、 min() 、pow() 、round() 、sum()类型转换 × 24bool() 、 int() 、 float() 、 complex() 、str() 、 ord() 、 chr() 、 bytearray() 、 bytes() 、 memoryview() 、 bin(...
2020-02-06 09:39:33
267
原创 Python的学习3
#集合的关系list_1=set([1,2,3,4,5,6,6,7,])list_2=set([5,6,9,17,21,27])print(list_1,list_2)'''#交集print(list_1.intersection(list_2))#并集print(list_1.union(list_2))#差集print(list_1.difference(list_2))...
2020-01-06 06:12:08
72
原创 Python 2 day
Pyhon 2 dayList#!/urs/bin/env python# -*- coding:utf-8 -*-# Author:whitenames=['white','ying','qinghua',['rich','smart'],'fang','baby']names2=['Bai',"2liu",'qu,','bai','#child']'''print(name...
2019-12-08 21:45:08
94
原创 Python的学习1
打卡第一天Python基础学习1.Python简单介绍2.Python的应用Python环境安装1.安装Python32.安装PycharmPython程序1.第一个程序"HelloWorld" 编程语言的仪式变量赋值1.变量是由“数字”，“字母”，“_”组成的，不能有特殊符号，第一个字符不能是数字，命名变量要有含义2.打印时输出变量和字符串的结合3.python中表示常量...
2019-12-08 21:45:02
168
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人