文章
文章平均质量分 60
易悠
事在人为
展开
-
欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl原创 2015-05-08 10:40:29 · 500 阅读 · 0 评论 -
Python教程学习简记12--Python Partial function 偏函数
Python的functools模块提供了很多有用的功能,其中一个就是偏函数(Partial function)。 注意:这里的偏函数和数学上的偏函数不一样奥。我们在介绍函数参数的时候,我们讲到,通过设定参数的默认值,可以降低函数调用的难度。而偏函数也可以做到这一点。例如:int()函数可以把字符串转化为整数,当仅仅传入字符串时,int()函数默认按十进制转换: 但是int()函数还提供额外的b原创 2016-02-17 14:19:38 · 725 阅读 · 0 评论 -
Python教程学习简记13--Python Module 模块
Module 模块计算机程序开发中,随着程序代码越写越多,在一个文件里代码就会越来越长,越来越不容易维护。为了编写可维护的代码,我们把很多函数分组,分别放到不同的文件里面,这样,这个文件包含的代码就相对较少,很多编程语言都采用这种组织代码的方式。在Python中,一个.py文件就称之为一个模块(Module)。使用模块有什么好处呢?最大的好处是大大提高了代码的可维护性。其次,编写代码不必从零开始。当原创 2016-02-21 01:18:03 · 2183 阅读 · 0 评论 -
Spark实战-Spark SQL(二)
SparkSQL实战原创 2016-03-27 19:09:31 · 584 阅读 · 0 评论 -
Spark实战-Spark SQL(三)
SparkSQL实战原创 2016-03-27 19:15:21 · 698 阅读 · 0 评论 -
Spark Streaming实战(一)
Spark Streaming实战原创 2016-03-27 19:16:41 · 569 阅读 · 0 评论 -
Spark Streaming实战(二)
Spark Streaming实战原创 2016-03-27 19:17:06 · 536 阅读 · 0 评论 -
Spark Streaming实战(三)
Spark Streaming实战原创 2016-03-27 19:18:20 · 37653 阅读 · 0 评论 -
bad symbolic reference. A signature in RDD.class refers to term hadoop in package org.apache which i
Error:scalac: bad symbolic reference. A signature in RDD.class refers to term hadoopin package org.apache which is not available.It may be completely missing from the current classpath, or the versio原创 2016-06-20 13:58:07 · 3907 阅读 · 4 评论 -
CDH5.9.0集群部署与搭建
最近新购了一台工作站,急切的想试一下手,就搭建个CDH集群吧,练练手,顺便了解一下最新版的CDH长成什么样子了…… 工作站的配置:Thinkpad P50,Intel(R)Xeon E3 1505M v5@2.80GHz 2.81GHz ;内存48G;显卡4G……1 下载CDH各种RPM包1.1 下载cloudera-manager-installer.bin这个地址可以选择最新的CM的安装文原创 2016-11-23 20:59:55 · 13475 阅读 · 6 评论 -
各种软件下载地址收集
JDK http://www.oracle.com/technetwork/java/javase/archive-139210.html 用户名密码(1627383642@qq.com H**124077)CDH http://archive.cloudera.com/cdh5/ http://archive.cloudera.com/cm5/repo-...原创 2017-03-22 20:01:08 · 2829 阅读 · 0 评论 -
技术大牛博客汇总
易者悠也 http://write.blog.csdn.net/postlist/0/0/enabled/1JULY-结构之法 算法之道机器学习 数据挖掘 Android相关stormzhang博客精华 http://stormzhang.comInnost的专栏深入理解Android与其他技术,管理,人生百态,团队建设等http://blog.csdn.net/Innost/zhih原创 2015-11-02 15:51:17 · 2186 阅读 · 0 评论 -
Pima印第安人数据集上的机器学习-分类算法(根据诊断措施预测糖尿病的发病)
数据集简介该数据集最初来自国家糖尿病/消化/肾脏疾病研究所。数据集的目标是基于数据集中包含的某些诊断测量来诊断性的预测 患者是否患有糖尿病。从较大的数据库中选择这些实例有几个约束条件。尤其是,这里的所有患者都是Pima印第安至少21岁的女性。数据集由多个医学预测变量和一个目标变量组成Outcome。预测变量包括患者的怀孕次数、BMI、胰岛素水平、年龄等。1 加载库imp...原创 2018-04-02 16:49:37 · 22058 阅读 · 10 评论 -
深度学习资源汇总
1 、Awesome-Most Cited Deep Learning Papers https://github.com/terryum/awesome-deep-learning-papers2 、 Deep Learning 深度学习 专知荟萃 http://www.zhuanzhi.ai/topic/2001228999615594/awesome3、 Awes...原创 2018-05-28 14:48:50 · 483 阅读 · 0 评论 -
Python教程学习简记1--Python数据类型和变量 字符串和编码 list和tuple 条件判断 循环 dict和set
本文主要是学习Python基础:Python数据类型和变量 字符串和编码 list和tuple 条件判断 循环 dict和set本文根据廖雪峰的官方网站-Python教程,认真学习,一步一步实操并且详细记录。在此,特别感谢廖雪峰老师。Python2.x与Python3.x之后补上。。。。。。升级Ubuntu15.10系统的PythonUbuntu15.10系统默认安装的Python为2.7.10原创 2016-01-30 16:13:29 · 1844 阅读 · 1 评论 -
Python教程学习简记1--Python数据类型和变量 字符串和编码 list和tuple 条件判断 循环 dict和set
本文主要是学习Python基础: Python数据类型和变量 字符串和编码 list和tuple 条件判断 循环 dict和set本文根据廖雪峰的官方网站-Python教程,认真学习,一步一步实操并且详细记录。在此,特别感谢廖雪峰老师。Python2.x与Python3.x之后补上。。。。。。升级Ubuntu15.10系统的PythonUbuntu15.10系统默认安装的Python为2.7.1原创 2016-02-03 15:39:33 · 1859 阅读 · 0 评论 -
Spark1.6.0使用apache-maven-3.3.9编译详细记录
1. apache-maven-3.39安装配置1-1. 下载解压maven官方下载地址 http://maven.apache.org/download.cgi解压到指定目录:(我下载并解压到了E盘根目录) 1-2. 验证JAVA_HOME是否配置检查JAVA环境变量值:echo %JAVA_HOME% ok,这都没有问题。如果没有,则自行安装配置java环境变量,此处不再赘述,不过原创 2016-02-16 01:33:33 · 2378 阅读 · 0 评论 -
Jekyll&&Github---使用jekyll在github上面搭建个人博客
下载安装jekyllapt-get install rubygem install jekyll安装错误:ERROR: Could not find a valid gem 'jekyll' (>= 0), here is why:Unable to download data from https://rubygems.org/ - no such name (https://api.rubyg原创 2016-01-09 16:49:43 · 1586 阅读 · 0 评论 -
Python教程学习简记3--Python 切片
取一个list或者tuple的部分元素是非常常见的操作。 例如,一个list如下:>>> L = ['hjr', 'lr', 'hjj', 'lqq']我们取前3个元素,笨办法如下:>>> [L[0], L[1], L[2]]['hjr', 'lr', 'hjj']之所以称之为笨办法是因为扩展以下,取前N个元素就没辙了。取前N个元素,也就是索引为0-(N-1)的元素,可以用循环:>>> r =原创 2016-02-05 18:01:24 · 811 阅读 · 0 评论 -
Python教程学习简记4--Python 迭代(iteration)
如果给定一个list或tuple,我们可以通过for循环来遍历这个list或tuple,这种遍历我们称之为迭代(Iteration).在Python中,迭代是通过for… in来完成的,而很多语言比如C或者Java,迭代list是通过下表完成的,比如Java代码:for (i = 0; i < list.length; i++){ n = list[i];}可以看出,Python的for循原创 2016-02-05 18:35:49 · 1055 阅读 · 0 评论 -
Spark实战-Spark SQL(一)
本文是按照周志胡老师的博客实践的,再次特别感谢周老师!Spark修炼之道(进阶篇)——Spark入门到精通:第十节 Spark SQL案例实战(一) http://blog.csdn.net/lovehuangjiaju/article/details/50639287分为以下主要的几步:获取数据 创建DataFrame DataFrame方法实战 DataFrame注册成临时表使用实战首先原创 2016-02-06 18:02:02 · 4183 阅读 · 0 评论 -
ELK 开源实时日志分析平台部署安装
ELK 由 ElasticSearch 、 Logstash 和 KiabanaElasticsearch 是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制, restful 风格接口,多数据源,自动搜索负载等。Logstash 是一个完全开源的工具,他可以对你的日志进行收集、分析,并将其存储供以后使用(如,搜索)。kibana 也是一个开源和免费的工具,他原创 2016-02-08 00:00:08 · 1317 阅读 · 0 评论 -
Python教程学习简记5--Python 列表生成式(List Comprehensions)
列表生成式即List Comprehensions,是Python内置的非常简单却强大的可以用来创建list的生成式。举个例子,要生成list [1,2,3,4,5,6,7,8,9,10]可以用list(range(1, 11)):>>> list(range(1, 11))[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]但是如果要生成[1*1, 2*2 ,3*3, …, 10*10原创 2016-02-09 11:48:01 · 7688 阅读 · 1 评论 -
Python教程学习简记6--Python 生成器 generator
通过列表生成式,我们可以直接创建一个列表。但是,受到内存限制,列表容量肯定是有限的。而且,创建一个包含100万个元素的列表,不仅占用很大的存储空间,如果们仅仅需要访问前面几个元素,那后面绝大多数元素占用的空间就白白浪费了!所以,如果列表元素可以按照某种算法推算出来,那我们是否可以在循环的过程中不断推算出后续的元素呢?这样就不必创建完整的list,从而节省大量的空间。在Python中,这样一边循环一边原创 2016-02-10 15:48:23 · 1041 阅读 · 0 评论 -
Python教程学习简记7--Python 可迭代对象:Iterable ,迭代器:Iterator
我们已经知道,可以直接作用于for循环的数据类型有以下几种:一类是集合数据类型,如list / tuple / dict / set / str /等; 一类是generator,包括生成器和带yield的generator function。这些可以直接作用于for循环的对象统称为可迭代对象:Iterable。可以使用isinstance()判断一个对象是否是Iterable对象:>>> fro原创 2016-02-10 16:53:20 · 4480 阅读 · 0 评论 -
Python教程学习简记8--Python 高阶函数 map/reduce filter sorted
函数式编程函数是Python内建支持的一种封装,我们通过把大段代码拆成函数,通过一层一层的函数调用,就可以把复杂任务分解成简单的任务,这种分解可以称之为面向过程的程序设计。函数就是面向过程的程序设计的基本单元。而函数式编程–Functional Programming,虽然也可以归结到面向过程的程序设计,但是其思想更接近数学计算。我们首先要搞明白计算机(Computer)和计算(Compute)的概原创 2016-02-12 17:07:53 · 1528 阅读 · 0 评论 -
Python教程学习简记9--Python 返回函数 闭包
函数作为返回值高阶函数除了可以接收函数作为参数外,还可以把函数作为结果值返回。我们来实现一个可变参数的求和。通常情况下,求和的函数是这样定义的:def calc_sum(*args): ax = 0 for n in args: ax = ax + n return ax但是,如果不需要立即求和,而是在后面的代码中,根据需要在计算怎么办?可以不返回求和的结果,原创 2016-02-12 22:31:30 · 674 阅读 · 0 评论 -
Python教程学习简记10--Python 匿名函数
当我们在传入函数时,有些时候,不需要显式的定义函数,直接传入匿名函数更方便。在Python中,对匿名函数提供了有限支持。还是以map()函数为例,计算f(x)=x*x时,除了定义一个f(x)的函数外,还可以直接传入匿名函数: 通过对比可以看出,匿名函数lambda x: x*x 实际上就是:def f(x): return x*x关键字lambda表示匿名函数,冒号前面的x表示函数参数原创 2016-02-13 17:22:07 · 746 阅读 · 0 评论 -
Python教程学习简记11--Python decorator 装饰器
由于函数也是一个对象,而且函数对象可以被赋值给变量,所以,通过变量也能调用该函数。函数对象有一个(双下划线+name+双下划线)属性,可以拿到函数的名字: 现在,假设我们要增强now()函数的功能,比如,在函数调用前后自动打印日志,但又不希望修改now()函数的定义,这种在代码运行期间动态增加功能的方式,称之为“装饰器”(Decorator)。本质上,decorator就是一个返回函数的高阶函数。原创 2016-02-14 17:18:30 · 2176 阅读 · 0 评论 -
深度学习线路图
深度学习是机器学习的一种形式,它允许计算机从经验中学习并从概念层次理解事物,其中每个概念都是从更简单的概念定义的。这种方法避免了人类需要指定计算机所需的所有知识。概念的层次结构允许计算机通过具有多个层的深度设置将它们彼此叠加在一起来学习复杂的概念。第一部分:应用数学在学习深度学习时,您需要学习的第一件事是应用数学,这是深度学习的基础组成部分。线性代数线性代数是数学的一个分支,在整个工程中...原创 2019-05-18 13:00:35 · 1141 阅读 · 0 评论