- 博客(41)
- 资源 (1)
- 收藏
- 关注
原创 AttributeError: 'DataFrame' object has no attribute 'map'
[root@master pyspark]# spark-submit spark_python_sql.py19/05/04 17:03:16 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicableUsi...
2019-05-04 17:12:34
5508
转载 spark-env.sh配置参数详解
Spark记录-spark-env.sh配置 环境变量含义SPARK_MASTER_IPmaster实例绑定的IP地址,例如,绑定到一个公网IPSPARK_MASTER_PORTmater实例绑定的端口(默认7077)SPARK_MASTER_WEBUI_PORTmaster web UI的端口(默认8080)SPARK...
2019-04-06 15:26:10
7020
原创 spark重分区算子repartition和coalesce解析
在spark中,有时候我们觉得task并行度太小,就想着提高其并行度。 首先,先说一下有多少种增加分区提高并行度的方法:1,textFile(path, numPartion=partitionNum)2,增加hdfs上的block数3,reduceByKey groupByKey shuffl...
2019-04-04 00:40:51
2045
转载 Spark常用算子概述
Spark的算子的分类 从大方向来说,Spark 算子大致可以分为以下两类: 1)Transformation 变换/转换算子:这种变换并不触发提交作业,完成作业中间过程处理。 Transformation 操作是延迟计算的,也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行,需要等到有 Ac...
2019-03-31 10:10:05
325
原创 数据分析之绘制边界以及np.c_和np.r_用法
这里记录一下绘制分类边界的方法。记录一下meshgrid,pcolormesh的使用方法import numpy as np# 抓取数据iris = datasets.load_iris()x = iris.data[:, 1:3]y = iris.target[:]k = 15 # 设置KNN k=15,计算周围临近的15个点# 图片,x,y每一步的步长h = 0.02# ...
2019-03-30 23:54:39
663
转载 SVM核函数概述
特征空间的隐式映射:核函数 咱们首先给出核函数的来头:在上文中,我们已经了解到了SVM处理线性可分的情况,而对于非线性的情况,SVM 的处理方法是选择一个核函数 κ(⋅,⋅) ,通过将数据映射到高维空间,来解决在原始空间中线性不可分的问题。 此外,因为训练样例一般是不会独立出现的,它们总是以成对样例的内积形式...
2019-03-27 08:55:53
21971
1
原创 机器学习之贝叶斯定理
贝叶斯定理 贝叶斯定理是关于随机事件A和B的条件概率(或边缘概率)的一则定理。其中P(A|B)是在B发生的情况下A发生的可能性。 贝叶斯定理也称贝叶斯推理,早在18世纪,英国学者贝叶斯(1702~1763)曾提出计算条件概率的公式用来解决如下一类问题:假设H[1],H[2]…,H[n]互斥且构成一个完全事件,已知它们的概率P(H[i]),i=1,2,…,n,现观察到某事件A与H[1],H[...
2019-03-21 15:59:27
1196
原创 机器学习之决策树-随笔
决策树决策树的本质: 对数据进行分类,降低不确定性。 这里,我们来判断下面几个人中是否喜欢打篮球。构建的决策树如下:所谓决策树,树在前面,决策在后面。 这里,我们有假设一个美女相亲进行决策的情况。呵呵 重点在找根节点。熵 熵可以用来表示的是物体内部的混乱程度,事实上,这个说法在化学中比较常用,可以回忆一下;在这里,我们可以认为是表示分类的数据纯与不纯的度量。 ...
2019-03-21 12:40:00
499
原创 One-Hot 编码
独热编码即 One-Hot 编码,又称一位有效编码,其方法是使用N位状态寄存器来对N个状态进行编码,每个状态都由他独立的寄存器位,并且在任意时候,其中只有一位有效。独热编码恰好是一种解决上述问题的好办法。不过数据也因此变得稀疏。[{‘city’: ‘北京’,‘location’:‘北方’,‘temperature’:100},{‘city’: ‘上海’,‘location’:‘南方’,‘tem...
2019-03-20 15:16:29
587
原创 机器学习之线性回归
线性回归这里,我们将工资和年龄作为自变量, 额度作为因变量来建立模型,预测不同情况下,银行根据客户的工资和年龄应该发放的贷款额度。建立特征值和预测值的映射关系公式:假设为对应特征值和参数θ的情况下的预测值与真实值的误差: 正态分布,又称高斯分布。我们可以得到的高斯分布中的概率,如下: (1)公...
2019-03-19 12:19:28
233
原创 推荐引擎模型架构和排序模型概述
排序模型推荐引擎模型架构解释 对指定用户进行推荐,这里我们必须明确两个重要的id,即userid和itemid。 1,推荐引擎获得userid和itemid,从数据库进行召回,形成推荐item列表,假如说这里召回300个item:score。 2,对于召回的item,我们通过基于内容和协同过滤的方式同时召回,而且这里召回的过程中有排序的过程,在这个阶段称之为粗排;但是此时两种不同...
2019-03-18 19:56:30
622
原创 数据分析-使用matplotlib可视化工具画图
区域填充以某种颜色填充两条曲线的闭合区域.mp.fill_between( x, # x值的区间 sin_x, # 与x组成一条曲线 cos_x, # 与x组成第二条曲线 sin_x < cos_x, # 绘制填充的条件 color='', alpha=0.5)案例: 绘制 sin_x=sin(x) cos_x...
2019-03-18 11:03:02
590
原创 数据分析之-matplotlib概述
matplotlib概述matplotlib是python的一个绘图库.使用它可以很方便的绘制出版质量级别的图形.matplotlib的基本功能基本绘图绘制折线, 设置线型/线宽/颜色等.设置坐标轴范围设置坐标刻度设置坐标轴位置/颜色图例特殊点备注高级图形操作子图操作刻度定位器/刻度网格线半对数坐标散点图图像填充条形图/饼状图等高线图/热成像图3D图...
2019-03-18 11:00:26
450
原创 数据分析之-numpy概述
numpy概述Numerical Python(数值python). 补充了python欠缺的数值运算能力.Numpy是其他数据分析及机器学习的底层库.Numpy完全标准C语言实现, 运行效率高.开源免费.numpy的历史1995年, 发布Numeric python.2001年, Scipy 提供 Numarray. (提供了多维数组)2005年, Numeric + Nu...
2019-03-18 10:56:59
230
原创 大数据技术生态体系组件概述
大数据架构如下图所示:图中涉及的技术名词解释如下:1)Sqoop:sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle 等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。2)Flume:Flume是Cloudera提供的一个高可用的,高可...
2019-03-12 15:04:33
1291
原创 sqoop操作方法和原理
一、sqoop顾名思义:sql-to-hadoop,从中我们可以看出sqoop名字的由来,即sq + oop。1.1、sqoop简介sqoop是一个用来将hadoop中hdfs和关系型数据库中的数据相互迁移的工具,可以将一个关系型数据库(mysql、oracle等)中的数据导入到hadoop的hdfs中,也可以将hdfs的数据导入到关系型数据库中。1.2、sqoop的特点:sqoop...
2019-03-09 11:33:00
761
转载 ROW_NUMBER() OVER()函数用法详解 (分组排序 例子多)
转载自:https://blog.csdn.net/qq_25221835/article/details/82762416,感谢作者的分享 原 ROW_NUMBER() OVER()函数用法详解 (分组排序 例子多) 2018年09月18日 19:11:38 一彡十 ...
2019-03-08 19:45:28
1405
原创 flume学习笔记
1.flume概述1.1.flume概念1.1.1.flume概念flume是分布式的,可靠的,高可用的,用于对不同来源的大量的日志数据进行有效收集、聚集和移动,并以集中式的数据存储的系统。flume目前是apache的一个顶级项目。1.1.2.系统需求flume需要java运行环境,要求java1.6以上,推荐java1.7.1.2.下载安装flume1.2.1.下载flume:...
2019-03-08 15:29:23
330
转载 逻辑回归从入门到深入(logistic regression)
转载地址:https://blog.csdn.net/ustbbsy/article/details/80423294。 感谢作者分享 1 引言 最近做一个项目,准备用逻辑回归来把数据压缩到[-1,1],但最后的预测却是和标签类似(或者一样)的预测。也就是说它的predict的结果不是连续的,而是类别,1,2,3,.....
2019-03-08 14:19:33
345
原创 隐马尔可夫模型及Viterbi算法
这里分享一个链接,感谢作者的分享。https://mp.weixin.qq.com/s?__biz=MzAxMjUyNDQ5OA==&mid=2653558648&idx=1&sn=047b8846eb42fcdfcc09dae4d73f9cd8&chksm=806e39c5b719b0d30e21411de966c817dfe1083a4bc9460a67390...
2019-03-02 09:49:52
294
原创 数据分析之正态分布检验及python实现
正态分布(Normal distribution),也称“常态分布”,又名高斯分布(Gaussian distribution),最早由A.棣莫弗在求二项分布的渐近公式中得到。C.F.高斯在研究测量误差时从另一个角度导出了它。P.S.拉普拉斯和高斯研究了它的性质。是一个在数学、物理及工程等领域都非常重要的概率分布,在统计学的许多方面有着重大的影响力。 正态曲线呈钟型,两头低,中间高,左右对称因...
2019-02-22 10:30:54
58574
22
原创 数据特征分析之帕累托分析以及python实现
帕累托分析(贡献度分析) → 帕累托法则:20/80定律“原因和结果、投入和产出、努力和报酬之间本来存在着无法解释的不平衡。一般来说,投入和努力可以分为两种不同的类型:多数,它们只能造成少许的影响;少数,它们造成主要的、重大的影响。”→ 一个公司,80%利润来自于20%的畅销产品,而其他80%的产品只产生了20%的利润例如:** 世界上大约80%的资源是由世界上15%的人口所耗尽的**...
2019-02-22 09:58:05
5609
原创 在centOS中vim的配置文件存放在/etc/vim目录中,配置文件名为vimrc
在centOS中vim的配置文件存放在/etc/vim目录中,配置文件名为vimrc在终端 输入以下命令来编辑vimrc配置文件:vim /etc/vimrc 或者 /etc/vimrc这里跟ubuntu稍微不一样1、显示行号在文件末端添加一新行,输入 set nu2、语法高亮在文件中找到 “syntax on 这一行,去掉前面的双引号”,双引号是注释的意思3、自动缩进在文...
2019-02-22 09:32:41
4994
2
转载 MySQL优化
当MySQL单表记录数过大时,增删改查性能都会急剧下降,可以参考以下步骤来优化:单表优化除非单表数据未来会一直不断上涨,否则不要一开始就考虑拆分,拆分会带来逻辑、部署、运维的各种复杂度,一般以整型值为主的表在千万级以下,字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间,甚至能正常支撑千万级以上的数据量:字段1、尽量使用TINYINT、SMA...
2019-02-20 23:26:34
86
原创 Hadoop运行环境搭建
1环境搭建基本配置:centos6.5主机内存:16g虚拟机版本:12pro1.1 虚拟机网络模式设置为NAT最后,重新启动系统。[root@hadoop101 ~]# sync[root@hadoop101 ~]# reboot1.2 克隆虚拟机1)克隆虚拟机2)启动虚拟机1.3 修改为静态ip1)在终端命令窗口中输入[root@hadoop101 ...
2019-02-18 13:37:09
356
原创 在centos7.5中解决bash: pip:command not find 问题
在使用python的时候,有时候会需要找到python包的安装位置,来找其他安装的第三方包。下面我们来看看,在不同平台上,怎么找到python的安装路径。对于linux平台来说,很多运行的系统软件都是建立在python的基础之上,如果python出错了,那么整个系统可能会有出现重大问题的风险。我们以CentOS 7为例,在CentOS7中,python基础版本是2.7,如下面图中所示。我们可...
2019-02-18 11:05:13
18930
8
原创 hadoop中使用Python语言实现wordcount功能
run.shHADOOP_CMD="/usr/local/src/hadoop-2.6.5/bin/hadoop"STREAM_JAR_PATH="/usr/local/src/hadoop-2.6.5/share/hadoop/tools/lib/hadoop-streaming-2.6.5.jar"INPUT_FILE_PATH_1="/The_Man_of_Prop
2019-02-18 09:05:38
1851
原创 比较完整的hadoop集群组件的安装教程
操作系统:centos7.4内核:3.10.0-693.el7.x86_64前提:关闭seliunx和firewalld所有软件包统一上传到/usr/local/src下面集群环境192.168.217.136 master192.168.217.137 slave1192.168.217.138 slave2设置免密钥登录:master节点执行:ssh-keygen...
2019-02-17 16:03:09
2405
1
原创 hmaster进程自动关闭,报错:org.apache.hadoop.hbase.util.FileSystemVersionException
2019-02-17 11:19:42,040 FATAL [master:16000.activeMasterManager] master.HMaster: Failed to become active masterorg.apache.hadoop.hbase.util.FileSystemVersionException: HBase file layout needs to be u...
2019-02-17 12:07:14
1556
4
原创 Java中使用顺序表ArrayList和链表LinkedList方式实现栈Stack
首先我们应该知道栈:遵循后进先出/先进后出的原则。最先放入栈中的元素 — 栈底元素,最后放入栈中的元素 — 栈顶元素。将元素放入栈中 ---- 入栈/压栈,将元素从栈中取出 ---- 出栈/弹栈。 import java.util.Stack; public class StackDemo { public static void main(String[] ...
2019-01-30 18:09:05
728
原创 java字符串类型String-----存储过程详解
#Stringjava字符串部分特点(关于String类型的详细定义和描述请读者阅读API手册):最终类。代表字符串的类,所有的字符串都市String的对对象。字符串是一个常量,定义好之后不可改变。因为字符串是一个常量,所以它是被共享的。字符串本质上是一个字符数组。public class StringDemo { public static void main(String[]...
2019-01-24 18:35:58
710
1
原创 Java匿名函数Lambda
匿名内部类由于没有名字,创建格式如下: 父类名|接口名 对象名 = new 父类构造器(参数列表)|实现接口() { //匿名内部类的类体部分 }匿名内部类必须要继承一个父类或者实现一个接口,当然也仅能只继承一个父类或者实现一个接口。同时它也是没有class关键字,这是因为匿名内部类是直接使用new来生成一个对象的引用。当然这...
2019-01-24 10:47:07
12660
原创 pandas分组统计 - groupby功能
数据分组分组统计 - groupby功能① 根据某些条件将数据拆分成组② 对每个组独立应用函数③ 将结果合并到一个数据结构中Dataframe在行(axis=0)或列(axis=1)上进行分组,将一个函数应用到各个分组并产生一个新值,然后函数执行结果被合并到最终的结果对象中。df.groupby(by=None, axis=0, level=None, as_index=True, s...
2019-01-05 11:11:16
37899
原创 5种创建Dataframe方法
下面将简要介绍Dataframe的5种创建方法,由于输出结果比较冗余,这里将不会展示输出结果,读者可以自行赋值粘贴,最好使用jupyter运行,并查看结果。另外的,代码中有非常详细的注释。Dataframe创建方法一import numpy as npimport pandas as pddata1 = { "a":[1,2,3], "b":[4,5,6], &a
2019-01-03 15:17:02
85811
原创 pandas中Series数组创建方法
import numpy as npimport pandas as pdar = np.random.rand(5)# s = pd.Series(ar)s = pd.Series(ar, index = list("abcde"))print(s)print(type(s))print("-------------")print(s.index, type(s.index)...
2019-01-03 15:10:15
6279
原创 pandas学习笔记之Dataframe索引
# DataFra是一个表格, 有行索引和列索引,可以被看做由Series组成的字典(共用一个索引) import numpy as np import pandas as pd df = pd.DataFrame(np.random.rand(12).reshape(3,4) * 100, index = ["one","two","three"], c..
2019-01-03 14:59:32
743
转载 numpy中的cumsum函数
Cumsum :计算轴向元素累加和,返回由中间结果组成的数组重点就是返回值是“由中间结果组成的数组”以下代码在python3.6版本运行成功!下面看代码,定义一个223的数组,所以其shape是2,2,3,索引分别0,1,2shape 索引2 02 13 2代码:import numpy as nparr = np.array([[[1,2,3],[8,9,12]],[[1,...
2018-12-29 21:20:48
5551
原创 json和pickle两个序列化模块详解
用于序列化的两个模块json:用于字符串和Python数据类型间进行转换pickle: 用于python特有的类型和python的数据类型间进行转换json提供四个功能:dumps,dump,loads,loadpickle提供四个功能:dumps,dump,loads,loadpickle模块和json模块还是比较实用的,还有许多的信息可以去了解,想了解更多信息的话可以阅读下pyt...
2018-12-28 13:26:21
881
原创 糗事百科爬虫实现
前两天写了一下关于糗百的爬虫,现在将代码分享给大家,有兴趣的同学可以了解一下1,下面是正常流程实现爬虫过程的源代码,如下:# coding=utf-8import requestsimport jsonfrom lxml import etreeclass QiubaiSpider: def __init__(self): self.part_url = 'h...
2018-12-28 11:00:03
160
原创 python中基于多任务的文件复制方法
网络编程中,使用多任务实现文件的复制是非常有必要的。下面将简要介绍两种基于多任务的文件复制实现方式。1.下面实现的是使用队列实现文件的多任务复制过程import multiprocessingimport osdef copied_old_folder(q, old_folder_name): '''文件复制放入队列中''' file_infos = [] fi...
2018-12-14 21:38:26
213
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人