- 博客(37)
- 收藏
- 关注
RSS订阅
原创 Python3：《学习笔记与实战》之基本数据结构（3）列表 字典 集合 元组 操作方法比较
1.总比较： list、dict、set的数据是可变的，tuple、字符串是不可变的。 list是最自由的，可以使用索引、切片方式访问，可以增加 删除 修改元素。 dict是半自由的，自由体现在键值对的无序，可通过key去索引value的值，不自由体现在数据操作只能通过key来实现。 set是半自由的，自由体现...
2019-02-17 18:39:32
305
原创 Python3：《学习笔记与实战》之自动化任务（1）python 基础
学习书籍专题 ：01-【python 自动化任务】 python 基础 【1-6章】 -------------------------------------------------------------------------------------------------------------------------------------------------1....
2019-02-15 17:47:49
502
原创 Python3：《机器学习笔记与实战》之Logistic回归（2）损失函数（cost function）详解
有监督学习机器学习分为有监督学习，无监督学习，半监督学习，强化学习。对于逻辑回归来说，就是一种典型的有监督学习。 既然是有监督学习，训练集自然可以用如下方式表述： {(x1,y1),(x2,y2),⋯,(xm,ym)}{(x1,y1),(x2,y2),⋯,(xm,ym)}对于这m个训练样本，每个样本本身有n维特征。再加上一个偏置项x0x0, 则每个样本包含n+1维特征： x=[x0,x...
2019-02-14 11:19:54
1450
原创 Python3：《机器学习笔记与实战》之Logistic回归（1）原理介绍
一、逻辑回归基本概念1. 什么是逻辑回归逻辑回归就是这样的一个过程：面对一个回归或者分类问题，建立代价函数，然后通过优化方法迭代求解出最优的模型参数，然后测试验证我们这个求解的模型的好坏。Logistic回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题（即输出只有两种，分别代表两个类别）回归模型中，y是一个定性变量，比如y=0或1，logistic方法主要应用于...
2019-02-14 11:17:18
232
原创 Python3：《机器学习笔记与实战》之朴素贝叶斯算法（1）你的爱人在儿？
算法思想：基于条件概率 联合概率假设各个特征之间是独立且同等重要的。应用场景： ①：文本分类 垃圾邮件、留言审核等过滤 ②：个人广告中获取区域倾向算法流程： 1.计算分子：A发生的先验概率。计算在A发生后，不同的独立特征的条件概率。相乘得出分子的值。 2.计算分母：各独立特征发生的全概率。 算法 ①、分解各类先验样本数据中的特征...
2019-02-11 10:28:49
192
原创 Python3：《学习笔记与实战》之基本数据结构（2）字典操作
Dictionary 字典(装下整个世界)字典是python中的唯一的映射类型，采用键值对的形式存储数据(key-value)。python对key进行哈希函数运算，根据计算结果决定value存储的地址，所以字典是无序存储的。字典是除列表以外python之中最灵活的内置数据结构类型。列表是有序的对象结合，字典是无序的对象结合。两者之间的区别在于，字典当中的元素通过键来存取得，而不是...
2019-02-10 17:33:27
135
原创 Python3：《学习笔记与实战》之基本数据结构（1）列表操作
1.一次添加多个元数给列表 student_id.append([100,101,102,103,104,105]) 其中数字也可以改为变量;student_id[0] 就可以取到这个序列2.列表的浅复制 a = [100,200,300], b=a 为深复制 a 和 b为公用一个内存空间，b=a[:]为浅复制 分配内存空间不同3.有重复元素的列表去重 ①放入集合 ...
2019-02-10 16:13:05
137
原创 Python3：《机器学习笔记与实战》之Knn算法（2）识别手写数字
Python3：《机器学习笔记与实战》之Knn算法（2）识别手写数字转载请注明作者和出处：https://blog.csdn.net/weixin_41858342/article/details代码及数据地址：https://github.com/yuankaihua668/knn-code-and-data.git操作系统：WINDOWS 10软件版本：python-3.6.2-am...
2019-01-30 18:01:07
702
原创 Python3：《机器学习笔记与实战》之Knn算法（1）我们约会吧
Python3：《机器学习笔记与实战》之Knn算法（1）我们约会吧转载请注明作者和出处：https://blog.csdn.net/weixin_41858342/article/details/86700041代码及数据地址：https://github.com/yuankaihua668/knn-code-and-data.git操作系统：WINDOWS 10软件版本：python-...
2019-01-30 12:59:56
492
1
原创 Python3：《学习笔记与实战》之网络爬虫（1）判断列表为空
Python3：《学习笔记与实战》之网络爬虫（1）判断列表为空1.在网络爬虫中 经常会根据返回的列表是否为空 提取我们需要的不同信息。2.如果text是个列表，而text没有查找到任何信息。3.此时判断为空，需要用长度去判断 if len(text): print(text)4.而不是if text[0]!='' 或者 if text is not None 这样判断是会报错的...
2018-08-08 23:18:47
1261
原创 Elasticsearch:《大数据集群学习笔记与实战》之es集群（8）创建java 连接和java 客户端
8.java客户端和创建连接8.1 ES官网提供的java api 版本。要和ES的版本对应。截止2019-4-5号 我的ES版本是6.3.0 es-java api 官网地址：https://www.elastic.co/guide/en/elasticsearch/client/java-api/6.3/index.html8.1.1 创建项目：在eclipse 中 new...
2019-05-05 19:39:40
354
原创 MySQL：《学习笔记与实战》之查询实例（1）求通过率
一、求通过率1.数据源如下oederid is old createtime state o123 1 2018-6-1 10:25 20 o124 1 2018-6-2 1:00 20 o125 1 2018-6-1 16:00 20 o126 0 2018-6-2 6:07 20...
2019-05-03 18:07:02
655
原创 数据建模：《学习笔记与总结》之常见的数据降维方法（1）PCA
一、降维的主要目的数据降维的应用：①降低数据的存储量；②加快机器学习的速度；③数据可视化 数据降维的本质： 方差 方差的公式 方差的意义：方差越小，代表这组数据越稳定，方差越大，代表这组数据越不稳定。下面内容主要 介绍目前降维的主要方法二、PCA（主成分分析）principal component analysis原理：对于一个未知的系统，我们假设它有n个参数。我们想要...
2019-04-20 11:07:33
3288
原创 HardWare硬件：《重装系统》之U盘启动
一，制作U盘启动程序|重装系统适用于可以登录到桌面时的重装 【登录桌面时 可以联网或无法联网】1. 下载优盘启动制作工具 1.1 如果不能联网：可以先下载好，拷贝到优盘里，再拷贝到电脑制作优盘启动程序；如果可以联网 可以选择在要重装的电脑下载。 推荐使用http://www.ushendu.com/ 下载 u深度 软件 1.2 制作启动程序...
2019-04-12 17:54:32
436
原创 Python3：《学习笔记与实战》之房源周报（1）连接hive
一，python3 连接hive 步骤python3 连接hive 的环境安装 1、pip install six 2、pip install bit_array 3、pip install thriftpy##注意: thrift (on Python 2.x) or thriftpy (on Python 3.x) 4、pip install thrift_sasl...
2019-04-10 16:40:32
220
原创 Java：《学习笔记与实战》之打印Java中print、printf、println的区别详解
1.三者的区别printf主要是继承了C语言的printf的一些特性，可以进行格式化输出。print就是一般的标准输出，但是不换行，如果从mysql 读取10行记录，每行记录13列，可以一次输出10行13列，但是输出1行后，要结合println 输出空格后，游标才能移动到下一个记录。println 1行记录有13个字段，每输出一个字段就会换行2.printf的参数说明Sys...
2019-03-31 12:22:55
292
原创 Elasticsearch:《ElasticSearch深入理解》之es集群（2）ElasticSearch 简介
第1章：ElasticSearch 简介----------------------------------------------------------------------------------------------------------------1.1.Apache lucene 简介--------------------------------------------...
2019-03-29 11:21:41
189
原创 Elasticsearch:《ElasticSearch深入理解》之es集群（7）分布式索引架构
第4章：分布式索引架构----------------------------------------------------------------------------------------------------------------4.1.选择合适的分片数和副本数-------------------------------------------------------...
2019-03-28 13:53:18
517
原创 tensorflow：《机器学习笔记与实战》之神经网络4.3 滑动平均
1.泛化能力模型适用于新样本的能力为泛化 (generalization)能力。适用可以理解为分类 预测 聚类 关联规则，新样本可以理解为新环境。下图为滑动平均值得计算过程:工程中滑动平均值得计算如下：滑动平均值实例代码如下：#coding:utf-8#4.3 滑动平均的计算#设损失函数为 loss=(w+1)^2,令w初值是常熟5。反向传播就是求最优w,即...
2019-03-25 21:52:25
151
原创 tensorflow：《机器学习笔记与实战》之神经网络4.2学习率
1.梯度可以理解为函数的导数，减去的是学习率乘以损失函数的导数，即梯度#coding:utf-8#4.2学习率#设损失函数为 loss=(w+1)^2,令w初值是常数5。反向传播就是求最优w,即求最小对应的loss 对应的w值。import tensorflow as tfimport numpy as np#定义待优化参数 W初值为5 w = tf.Variable...
2019-03-24 23:25:45
140
原创 tensorflow：《机器学习笔记与实战》之神经网络4.1损失函数
1.搭建神经网络-两个重要步骤 1.1 前向传播搭建网络结构 1.2 反向传播 训练网络参数2.常用的激活函数3.神经网络层数计算3.1只计算有运算能力的层4.神经网络的优化4.1从损失函数、学习率、滑动平均、正则化四个方面来优化。5.一段简单的预测酸奶日销量的代码。5.1 安装tensorflow 后出错Impo...
2019-03-23 18:38:03
375
原创 Java：《学习笔记与实战》之jdbc（1）与mysql建立连接
章节16. jdbc数据库操作 【299-315课时】 --------------------------------------------------------------------------------------------------------------------------299.课时 1.jdbc_mysql安装和启动。mysql 和 orac...
2019-03-18 23:04:27
147
原创 Elasticsearch:《大数据集群学习笔记与实战》之es集群（6）es查询演示和 补充及删除
5.1 url 查询数据5.1.1 一般查询 用GETjson风格：curl -XGET http://192.168.1.3:9200/ibeifeng/produce/1 -H 'Content-Type:application/json'pretty风格：curl -XGET http://192.168.1.3:9200/ibeifeng/produce/1?pretty ...
2019-03-11 12:08:26
211
原创 Elasticsearch:《大数据集群学习笔记与实战》之es集群（5）es 文档新增和修改 文档即数据
4. es 文档新增和修改 文档即数据4.1 正常流程是 在索引和类型上创建数据4.2 直接在索引上创建数据，跨过类型curl -XPOST http://192.168.1.3:9200/ibeifeng/produce/1 -H 'Content-Type:application/json' -d'{"name":"北风网","className":"分布式搜索引擎","pri...
2019-03-11 11:24:50
382
原创 Elasticsearch:《大数据集群学习笔记与实战》之es集群（4）es的索引操作
3. es 创建索引3.1 两种方式：RESTful风格，JSON格式创建。都是原生方式RESTful风格：curl -XPUT http://192.168.1.3:9200/ibeifengJSON格式创建: 注意-d'后是有一对括号的。curl -XPUT 'http://192.168.1.3:9200/ibeifeng' -H 'Content-Type:applica...
2019-03-11 10:38:11
226
原创 Elasticsearch:《大数据集群学习笔记与实战》之es集群（3）es的请求格式及返回
1.基本的请求格式这是基本的公式下面介绍相关的术语2.基本的 http 方法2.1 5个主要方法GET：用于请求访问已经被URI（统一资源标识符）识别的资源，可以通过URL传参给服务器POST：用于传输信息给服务器，主要功能与GET方法类似，但一般推荐使用POST方式。PUT：传输文件，报文主体中包含文件内容，保存到对应URI位置。HEAD：获得报文首部...
2019-03-10 23:28:00
894
原创 Elasticsearch:《大数据集群学习笔记与实战》之es集群（2）es基本操作
1.es的相关操作 1.基本的概念 text 文本 通过 analysis分析 变成 索引词。 2.index 索引 相当于数据库 3.type 类型 相当于表；字段即列 4.document 文档 相当于一条记录 5.shard 分片 集群下很多节点 每一个节点有很多分片 分片即是一个lucene实例。分为主 丛分片。 ...
2019-03-10 22:13:43
338
原创 Elasticsearch:《大数据集群学习笔记与实战》之es集群（1）安装head等完成 大功告成
6.安装node node-v8.9.4-linux-x64.tar 第1步：用xftp 将node安装文件上传到software 下。 第2步：解压安装到install目录下。在root权限下，在software目录下，执行命令：tar -zxvf node-v8.9.4-linux-x64.tar.gz -C ../install/ 【tar后一定要有...
2019-03-04 11:36:00
288
原创 MySQL：《学习笔记与实战》之查询实例（3）更改月份
1.更新表名时的简写UPDATE store_info_final_new a, traffic_grade_final b,SET a.hospital_score = b.gradeWHERE a.id=b.id;2.连接表要比update快select a.*,b.id from cudata_yuan a left join b where a.id =b.id...
2019-03-01 22:33:44
195
原创 MySQL：《学习笔记与实战》之查询实例（2）房源视图
1.创建视图中的函数说明 ①-----------------------replace 替换字符串 replace(object,search,replace) 把object对象中出现的的search全部替换成replace select replace('www.jb51.net','w','Ww')--->WwWwWw....
2019-03-01 22:13:40
153
原创 MySQL：《学习笔记与实战》之简单聚合操作（1）group by order by limits
SELECT count(date) FROM fbd_store where date>'2018-07-03';SELECT from_web,count(date) FROM fang where date>'2018-07-03' group by from_web;#01-总价区间房源统计SELECT total as '总价区间' ,count(date) as ...
2019-03-01 20:35:33
120
原创 Python3：《学习笔记与实战》之多线程（1）读取url 处理数据
一、了解多线程及进程的相关概念1.多线程和队列 在python中，多个线程之间的数据是共享的，多个线程进行数据交换的时候，不能够保证数据的安全性和一致性。所以当多个 线程需要进行数据交换的时候，队列就出现了，队列可以完美解决线程间的数据交换，保证线程间数据的安全性和一致性。2.队列、栈、双端队列，堆 python3的队列模块 import queue...
2019-03-01 09:30:58
523
转载 MySQL：《学习笔记与实战》之连表查询（1）周报提数
实习SQL语句汇总参考 本文转载至同事的学习笔记，感谢她的辛苦付出。一、周报提数1.1 某时间段某省的活跃用户数统计口径：活跃用户数 (dmid_client_user_detail_d_yyyymm 客户端细节表，MID层)prov_id字段中15表示江苏省(ddim_province省份号段表,关联prov_id）msidn字段表示手机号参考代码：SELECT ...
2019-02-28 22:35:58
273
原创 Elasticsearch:《大数据集群学习笔记与实战》之es集群（1）es集群搭建
1.安装 xshell 版本为 Xshell-6.0.0086_yy 安装文件夹里的三个版本 可反复安装 避免购买。2.安装 Xftp 版本为 xftp5_wm_5.0.12283.xshell 和 Xftp 下载地址 Xftp https://www.netsarang.com/zh/downloading/ 安装时可能需要用到下面2步： 第1步：关掉 虚拟机所在...
2019-02-24 19:01:55
352
原创 Linux:《大数据集群学习笔记与实战》之linux操作（3）虚拟机+Centos7 总结
1.虚拟机安装 centos安装 虚拟机联网 【2018-6至2018-8】---------------------------------------------------------------------------------------------------------------------------------------------------------1.安装...
2019-02-24 07:38:08
1165
原创 Linux:《大数据集群学习笔记与实战》之linux操作（2）虚拟机安装后如何联网？
操作步骤：第1步：基本设置 ①菜单栏—编辑—虚拟网络编辑器-VMnet0；VMnet信息-默认 桥接模式（将虚拟机直接连接到外部网路）(B)；其他不用做任何更改 ②虚拟机-设置网络适配器-设备状态自动勾选两项-勾选 自定义（U）：特定虚拟网络 下面默认VMnet0(自动桥接) 与主机的 VMnet1 的IP地址...
2019-02-23 23:56:06
296
原创 Linux:《大数据集群学习笔记与实战》之linux操作（1）虚拟机安装
1.安装 vmware 版本：VMware-workstation-full-12.5.7-5813279 next—>接受—>更改安装路径—>next—>next—>next—>安装—>完成 参考链接：https://jingyan.baidu.com/article/9f7e7ec09da5906f281554d6.html2.安...
2019-02-23 22:36:27
126
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人