- 博客(64)
- 收藏
- 关注
RSS订阅原创 利用 python 进行数据分析
利用 python 进行数据分析numpy基础基础函数说明array将输入数据(列表,元祖,数组或者其他序列类型)转化为ndarray,要么判断出dtype,要么显示指定dtype。默认直接复制输入数据asarray将输入转换为ndarray,如果输入本身就是一个ndarray就不进行复制arange类似于内置的range，但放回的是一个ndarra...
2018-11-27 16:45:44
696
原创 与迭代器有关的工具
与迭代器有关的工具##itertools函数分为三大类能够把迭代器连接起来的函数chain:将多个迭代器按顺序连成一个迭代器cycle:无限地重复某个迭代器中的各个元素tee：把一个迭代器拆分成多个平行的迭代器zip_longest:与内置的zip函数相似，但是它可以对应长度不同的迭代器能够从迭代器中过滤元素的函数islice：在不进行复制的前提下，根据索引值来切割迭代...
2018-11-23 14:23:09
206
原创 python basic knowledge
python basic knowledgelistget the data from listindexcountadd or modify or delete the data from listappendinsertextendpopremoveaction in listsortreversestrget the index from str...
2018-11-09 17:04:17
277
原创 DockerFile的学习
DockerFile的学习最近因为项目的原因,我准备复习一下dockerfile,虽然网上说docker已经快凉凉了。不过它这种部署的方式，还是蛮好的，特别适合像我这样在一个服务器上面需要部署很多服务的。新建一个Dockerfile#This is a commentFROM ubuntu:14.04MAINTAINER wubingyu<flybetter@163....
2018-09-15 19:07:22
288
原创 octave的学习
octave的学习最近在看andrew的关于machine learning的学习。发现他在用octave的工具来学习machine learning。虽然知道后面应该会用numpy,pandas,pymatlab.但是感觉确实octave的语言比较简单。在这儿写一篇文章来学习一下的。常用的语句指令四则运算5+63-25*81/22^6基本逻辑运算...
2018-07-20 11:36:48
415
转载 redis的命令
redis的命令redis键(key) 序列号 命令 描述 1 del key 该命令用于在key存在时删除key 2 dump key 序列化给定key，并放回被序列化的值 3 exists key 检查给定key是否存在 4 expire key seconds 为给定key设置过期时间 5...
2018-07-17 17:04:43
174
转载 python 70个note
python 70个note在网上看到的，感觉还不错。收藏一下。摘要：在阅读python相关书籍中，对其进行简单的笔记纪要。旨在注意一些细节问题，在今后项目中灵活运用，并对部分小notes进行代码标注。1 python始终记录变量最新值。2 变量应简短且具有描述性，如student_name等。3 变量名推荐小写。4 单双引号括起来的，字符串可以包含引号和撇号。用法：”th...
2018-07-11 10:57:37
179
原创 python的csv的使用
python的csv的使用最近在学习spark，发现在csv中的使用非常广泛。csv简介csv(Comma Separated Values),即逗号分隔值(也称字符分隔值，因为分隔符可以不是逗号)，是一种常用的文本格式，用以存储表格数据，包括数字或者字符。很多程序在处理数据时都会碰到csv这种格式的文件，它的使用比较广泛。csv模块中的函数reader(csvfil...
2018-07-10 09:48:46
373
原创 spark的translate和action
spark的translate和action之前对spark的一直进行学习和操作，最近准备系统的学习一下的。对于translate和action有一定了解，但是不是很全面。所以在这篇博客中整理一下的。translate对于一个rdd的操作 函数名 目的 示例 结果 备注 map() 将函数应用于RDD中的每个元素，将返回值构成新的RDD...
2018-07-05 16:41:07
593
原创 机器学习三剑客
机器学习三剑客最近准备对推荐系统进行优化，在学习spark的mllib的代码的时候，发现里面很多的参数都是使用numpy。于是有了这篇博客，详细解释了python的机器学习的三剑客，我后面也是想把数据用图表的形式展示出来，这样就比较形象了。numpy Numpy 是python语言的一个扩展程序库。支持高级大量的维度数组与矩阵运算，此外也针对数组运算提供了大量的数学函数库。Nu...
2018-07-05 14:47:44
1485
原创 房源推荐算法
房源推荐算法房源推荐算法introductionrecommender systemcollaborative filteringContent-Based Recommendationproposed systemCirteriaPotenitial Buyer CatergorizationData PreparationEuclidean Weighted Sum ...
2018-07-03 09:44:32
3344
1
原创 python的进程和线程
python的进程和线程python的进程和线程进程篇进程池dummy基于Pipe的parmap队列在之前一直有注意到python的GIL(gobal interrupt lock).然而在实际运用却常常忽略，在最近的一个face recognition的项目的中。自测的时候，好好的。然而上线的时候，因为并发量太大，导致很多请求超时。才真正的意识到了这个问题。所...
2018-06-30 22:01:27
196
原创 Python的itertools
Python的itertoolsPython的itertoolsitertools.chain(*iterables)itertools.combinations(iterable,r)itertools.combinations_with_replacement(iterable,r)itertools.compress(data,selectors)itertools.cou...
2018-06-27 17:39:06
554
原创 对象比较时候重写qual和hashcode
对象比较时候重写qual和hashcode我们在java和python的比较对象的时候，都会要求重写equal和hashcode的方法，之前学习过，后面忘记了。所以写一个博客用来记录一下的。equal()的所属以及内部原理说起equals方法，我们都知道是超类Object中的一个基本方法，用于检查一个对象是否与另外一个对象相等。而在Object类中这个方法实际上是判断两个对象是否具...
2018-06-24 22:47:45
243
原创 推荐算法集合
推荐算法集合之前写过一个楼盘的推荐算法，感觉设计还是还蛮不错的，但是有一个缺点就是可以作为的参考的参数，太少，在前面的推荐算法中，只有一个userid和projectid的两个维度的。不是很合理，现在我希望添加更多的参考属性。推荐算法大致基类基于流行度的算法协同过滤算法基于内容的算法基于模型的算法混合算法基于流行度的算法基于流行度的算法非常简单粗暴，类似于各...
2018-06-20 17:21:56
611
原创 线性代数的复习
线程代数行列式最近在看pca的算法，发现自己大学的时候线性代数都还给老师了，复习一下的二阶与三阶行列式二元线性方程组与二阶行列式就是想象二阶行列式，空间两个。 在字母的是 第一列和第二列的参数，后面的字母。分别是空间第一个中最后一个，和取空间中第二个组合在一起。剩下来的，又取在一起的三阶行列式图中有三条实现看做是平行于主对角线的连接，三条虚线看...
2018-06-08 15:07:51
9376
原创 推荐系统(个人小结)
推荐系统最近在看公司的旧的推荐系统的，可能没有spark的als过滤好，但是我觉得蛮有特点，这个用来记录一下的从HDFS中获取数据源APP的数据格式： df_log = df_log .filter( df_log.col("page_id").isin(appPageId.toArray...
2018-06-08 15:04:38
909
原创 deep learning 的线性代数的复习
线程代数行列式最近在看pca的算法，发现自己大学的时候线性代数都还给老师了，复习一下的二阶与三阶行列式二元线性方程组与二阶行列式就是想象二阶行列式，空间两个。 在字母的是 第一列和第二列的参数，后面的字母。分别是空间第一个中最后一个，和取空间中第二个组合在一起。剩下来的，又取在一起的三阶行列式图中有三条实现看做是平行于主对角线的连接，三条虚线看...
2018-05-29 11:50:29
2814
原创 python高级特性的学习
Python的学习Python的学习高级特性切片迭代列表生产式生成器迭代器函数式编程高阶函数map/reducefiltersorted返回函数装饰器偏函数模块使用模块安装第三方模块模块搜索路径面对对象类和实例数据封装访问限制继承和多态获取对象信息使用type（）使用isinstance()使用dir()...
2018-04-20 11:11:53
222
原创 Linux的基础知识用户和用户组
Linux的基础知识用户和用户组Linux的基础知识用户和用户组从/etc/password说起一些常见的分组形式理解用户/etc/passwd中的字段分析useradd命令：添加用户userdel 命名：删除用户id命令 显示账号属性信息finger 命令：检索用户信息，比使用id命令更加友好usermod 命令:修改用户信息passwdpwch 检查面膜文件的完整...
2018-03-22 10:49:59
407
原创 Vim详解
Vim为什么学习vim，因为如果在linux下编程的话，vim是非常方便和使用的工具。我期望我往后台程序员服发展，那么使用vim是无法避免的。跳转listctrl-] 跳转到先前光标所在单词对应的主题 ctrl-0 回到前一个位置模式移动光标 快捷键 方向 h 左 j 下 k 上 l 右 按键 功能 x 删除字符 dd 删除一行 j
2018-03-09 17:31:27
264
原创 xpath的详解
xpath的详解xpath是一门在xml文档中插座信息的语言，我们以前可能都是用东门j的来解析，主流的依据是json的了。不过最近需要我写一个blog的。xpath节点在xpath中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档(根)节点。选取节点 表达式 描述 nodename 选取此节点的所有子节点 / 从根节点选取 // 从匹配选择的当前节
2018-03-09 14:10:33
340
原创 Maven
maven的学习基本内容pom包括了所有的项目信息： groupid：项目或者组织的唯一标志，并且配置时生产的路径也是由此生成，如org.codehaus.mojo生成的相对路径为：/org/codehaus/mojoartifactid:项目的通用名称version:项目的版本packageing:打包的机制,如pom,jar,maven-plugin,ejb,war,ear,r
2018-03-08 10:32:09
231
原创 elasticsearch 中文_2
最重要的查询过滤语句之前的那篇博客，主要是针对elasticsearch的整理。下面我个人觉得会非常实用。term过滤term 主要用于精确匹配哪些值，比如数字，日期，布尔值或not_analyzed的字符串 {“term”:{“age”:26}} {“term”:{“date”:”2014-09-01”}} {“term”:{“public”:true}} {“term”:{“tag”
2018-02-23 13:53:02
497
原创 Elasticsearch 中文版本 1
elasticsearch 中文运行elasticsearchnetwork.host:0.0.0.0 curl ‘http://localhost:9200/?pretty’集群和节点节点（node）是一个运行着的elasticsearch实例。集群（cluster）是一组具有相同cluster.name的节点集合，他们协同工作，共享数据并提供故障转移和扩展功能，当然一个及诶单也可以组成一个集群
2018-02-23 09:13:38
483
原创 Docker in English
DockerThe blog is based on the offical documentGet startedGet stared with DockerOrientation[toc] Containerization is incresasingly popular because containers are: Flexible:Even th
2018-02-02 17:09:23
223
原创 Java 8 Lamda
Java 8 Lamdawe all know Lambda project is a big enhancement to the java programming language. so let’s start to learn the grammer.Backgroundjava is, an object-oriented programming language. but the lan
2018-02-01 11:38:08
371
原创 ElasticSearch
ElasticSearchCheck your elasticsearchcurl -X GET http://localhost:9200Indexingcurl -XPUT http://localhost:9200/twitter/tweet/1 { “user”:”Kimchy”, “post_data”:”2009-11-15T14:12:1
2018-01-26 10:58:05
172
原创 Linux的路径了解
Linux的路径了解之前对linux都不是全面理解，现在整理一下主要常见的目录定义 目录名称 应放置文件的内存 /boot 开机所需文件-内核,开机菜单及所需配置文件等 /dev 任何设备与接口都以文件形式存放在此目录 /etc 配置文件 /home 用户主目录 /bin 单用户维护模式下还能够被操作的命令 /lib 开机时用到的函数库及/bin
2017-12-20 14:20:07
159
原创 Vim的常用命令
Vim教程Vim编辑器有三种模式-命令模式、末行模式和编辑模式命令模式：控制光标移动，可对文本进行删除、赋值、粘贴等操作输入模式：正常的文本录入末行模式：保存、退出与设置编辑环境vim编辑器的命令模式中常用的快捷键 命令 作用 dd 删除光标所在整行 5dd 删除从光标处开始的5行 yy 复制光标所在整行 5yy 赋值从光标处开始的5行 p 将之
2017-12-19 15:31:34
132
原创 Python的类
Python_类前面的内容我都提交到github上面，我感觉这一块是我比较薄弱的一块。所以用我博客的形式记录一下的。术语有关对象具有特性，并且多个名称可以绑定在同一个对象上。者在其他语言中被称为别名。在对python的第一印象中者通常会被忽悠，并且当处理不可变基础类型（数字，字符串，元组）时可以被放心的忽略。但是，在调用列表、字典这类可变对象，或者大多数程序外部类型（文件，窗体等）描述实体时，别名对
2017-12-18 14:42:05
176
原创 Linux的命令行
Linux的学习之前一直是零零散散的学习一些知识，这次我希望系统的学习一下linux的相关操作linux的指令echo[字符串|变量]date[选项][+指定的格式]rebootwgt[参数]下载地址 参数 作用 -b 后台下载模式 -O 下载到指定路径 -t 最大尝试次数 -c 断点续传 -P 下载页面所有资源、包括图片、视频等。 -r 递归下
2017-12-16 19:58:02
179
原创 Mysql复习秘籍
基础知识数据库的连接 mysql -u rootgod -p root -h 127.0.01库 知识 show databaseuse datebasecreate datebase dbname charset utf-8drop datebase dbname表操作 show tablesdesc tableName (查看表结构)show create table t
2017-11-12 22:51:26
284
原创 sql语句的复习
sql语句的复习说来惭愧，写了这么多年代码，sql语句都忘记差不多了。基础CREATE DATABASE database-namedrop datebase dbname备份数据库：mysqldump -u 用户名 -p 数据库名>导出的文件名 导入数据库： 导入数据库： 先进入sql mysql -u 用户 -p mysql>use 目标数据库 mysql>use news m
2017-11-12 09:04:31
511
原创 红黑树
红黑树红黑树的特性每个节点或者是黑色，或者是红色。根节点是黑色每个叶子节点是黑色[这里叶子节点，是指为空的叶子节点]如果一个节点是红色的，则它的子节点必须是黑色的从一个节点到该及诶单的子孙节点的所有路径上包含相同数目的黑节点。 我的理解 看到一个不错的网址,把红黑树弄的很清楚：https://www.cs.usfca.edu/~galles/visualization/RedBlack.
2017-11-07 23:04:46
192
原创 java的基本算法
最近想看看算法的，都是之前看的，有点都忘记了。快速排序步骤： 从数列中跳出一个元素，称为“基准”。 重新排序数列，所有元素比基准值小的摆放在基准前面，该基准就处于数列的中间位置。这个称为分区操作。归并排序申请空间，使其大小为两个已经排序序列之和，该空间用来存放合并后的序列。设定两个指针，最初位置分别为两个已经排序序列的起始位置，比较两个指针所指向的元素，选择相对小的元素放入到合并空间，并移动指针
2017-11-05 20:35:03
200
原创 Java的设计模式
Java 设计模式工厂方法模式普通工厂模式public Sender produce(String type){ if(“mail”.equals(type)){ return new MailSender(); }else if (“sms”.equals(type)){ return new SmsSener(); }else {
2017-11-01 20:21:15
175
原创 python的标准库
python的标准库正则表达式re.search() re.match() re.sub() str=re.sub(pattern,replacement,string) re.findall()时间与日期-time包 time.time() time.clock() time.sleep(10) st=time.gmtime() st=time.localtime() s=ti
2017-10-29 19:48:46
256
原创 python的快速教程
python的快速教程python基础hello world基本数据类型 type序列 序列有两种：一种是tuple（元组）一种是list（表）字符串是元组运算 数字：+，-,,/,*,%判断：==，！=，>,>=,<,<=,in逻辑：and,or,not缩进循环函数面对对象面对对象的进一步拓展 init()是特殊方法，python会自动调用这个方法。这个过程叫初始化
2017-10-25 17:34:30
371
原创 python的正则使用
python的正则学习就是想系统的学习一个正则a[bcd]*d 用来匹配abcbb的匹配过程 是尽量匹配字符串，先匹配 bcd 然后 在匹配bc 和cd 然后在匹配b,c,d.如果获得结果是abcb,然后最后是一个b和正则不符合。后面就开始报错了。认为正则不可以对的。 正则匹配 意思 \D 不是数字 \d 是数字 \S 匹配不是空字符串 \s 匹配空字符串
2017-10-16 16:01:33
182
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人