quintind的专栏

大数据之路

排序:
默认
按更新时间
按访问量

Spark编程及作业提交易犯错误

1、Spark作业需要从本地读入数据 本地输入的数据文件,需要和jar包放在Linux操作系统中,不能放在hdfs文件系统中。以下是一个示例 pathIn="../sparkJar/distinct_infected_ua " # 本地要传入给Spar...

2018-06-24 22:31:03

阅读数:56

评论数:0

OpenSSH的安装、使用

因为SSH受版权和加密算法的限制,现在很多人都转而使用OpenSSH。OpenSSH(Open Secure Shell,开放安全Shell)是SSH的替代软件,而且是免费的。OpenSSH默认使用RSA密钥,它采用安全、加密的网络连接工具代替telnet、ftp、rlogin、rsh和rcp工具...

2018-06-17 11:59:05

阅读数:3575

评论数:0

Win10升级后出现的OEM分区处理

升级Win10后,“此电脑”中出现一个新的分区(约500M),并且系统中总是提示该分区磁盘不够用的干扰信息。右键单击“此电脑”——>管理——>磁盘管理,发现这是一个名叫OEM的分区,再扩展了一下这个概念,原来还有恢复分区、OEM分区、EFI系统分区,它们...

2018-06-10 21:33:31

阅读数:14896

评论数:0

量子叠加态的理解

1、什么是量子 一个物理量如果存在最小的不可分割的基本单位,则这个物理量是量子化的,并把最小单位称为量子。量子英文名称量子一词来自拉丁语quantus,意为“有多少”,代表“相当数量的某物质”。在物理学中常用到量子的概念,指一个不可分割的基本个体。例如,“光的量子”(光子)是一定频率的光的基本能...

2018-06-03 22:32:26

阅读数:760

评论数:0

CentOS7下的任务计划

若要在固定时间触发某个作业,就需要创建任务计划。CentOS 7下可以通过修改/etc/crontab/文件或者使用 crontab命令实现任务计划。 1、 /etc/crontab文件 root用户模式下,在命令行输入vi /etc/crontab即可打开上述文件,内容如下: SHELL=...

2018-05-27 23:34:32

阅读数:454

评论数:0

Linux虚拟机中挂载光驱——rpm包安装

Linux初学者在练习rpm包安装时,常常因找不到rpm包而烦恼。寻找rpm包通常有两种方法:a、网络下载,如:rpmfind网站; b、直接使用Linux系统镜像文件中的rpm包。 以下讲述的是如何在CentOS文字界面下使用这些rpm包。 1、将CentOS镜像文件加载到L...

2018-05-20 20:24:11

阅读数:385

评论数:0

Linux硬盘分区训练——往VMware虚拟机中添加硬盘

在练习Linux硬盘分区时,若采用真实硬盘,可能会造成硬盘损坏而难以修复,因此在虚拟机中增加一块虚拟硬盘来进行练习是一个不错的选择。实际上,除了可以在虚拟机中添加虚拟硬盘之外,也可以添加光盘、CPU、处理器等虚拟设备。 虚拟机中硬盘添加方法步骤如下: 1、虚拟机关机; 2、右键点击...

2018-05-20 17:12:15

阅读数:51

评论数:0

参加第2届全国高校大数据教学研讨会总结

一、主要内容 大会的PPT可以从网站 http://dblab.xmu.edu.cn/post/10745/ 下载。 以前涉及到的大数据计算,基本就是MapReduce操作以及加减乘除的简单组合,并没有特别地将其视为大数据算法,并且认为大数据算法知识传统算法的简单迁移。专家眼中的大数据算法跟我...

2018-05-12 22:52:30

阅读数:215

评论数:0

中国资本市场的来龙去脉

1、中国股份制改革萌芽 中国股份制改革源于农民土地承包责任制; 股份制改革后农村产生了第一批中资企业——乡镇企业,解决了从土地上被解放出来的数亿青壮年农民就业问题。 乡镇企业的快速发展给当时仍然有强烈的意识形态色彩的中国决策层一个重要信号:“股份制”不是资本主义的发明,而是切切实实解决国计民生...

2018-05-06 23:45:07

阅读数:54

评论数:0

Linux中的组群账户添加、删除及修改

1、 Linux组群账户分类 分类法一: 1、私有组群:当创建一个用户时,若没有指定该用户属于哪个组群,那么Linux就会创建一个和该用户同名的组群,即:私有组群。 2、标准组群:也称为普通群组,标准群组可以包含多个用户账户 分类法二: 1、主要群组:当一个用户账户属于多个组成员时,登陆...

2018-04-29 22:17:16

阅读数:156

评论数:0

基于支持向量机的网页分类(Python+Spark实现)

网页分类问题的介绍以及数据集的下载,见基于决策树的网页分类(Python+Spark实现) import sys from time import time import pandas as pd import matplotlib.pyplot as plt from pyspark impo...

2018-04-22 23:11:42

阅读数:110

评论数:0

基于决策树的网页分类(Python+Spark实现)

1、网页分类问题 网页分类是一个经典的问题,例如:雅虎网站早期就是通过人工对网站进行分类以便于其他用户查找资料。网页分类的角度有多种,如:a、按网页类型(新闻、财经、体育、科技……);b、按网页内容: 暂时性的(ephemeral):文章只是在某一段时间内对读者有意义,过了这段时间就没有意义...

2018-04-15 23:30:35

阅读数:216

评论数:0

Python数据预处理中的LabelEncoder与OneHotEncoder

1、LabelEncoder LabelEncoder是用来对分类型特征值进行编码,即对不连续的数值或文本进行编码。其中包含以下常用方法: fit(y) :fit可看做一本空字典,y可看作要塞到字典中的词。 fit_transform(y):相当于先进行fit再进行transform,即把...

2018-04-08 15:21:42

阅读数:1199

评论数:0

Python+Jupyter+Spark编程经验总结

Jupyter中使用TAB键加速输入 Jupyter中编写程序时,有函数提示功能。在Jupyter中编写Spark程序对RDD进行操作时,在输入.之后,可以按TAB键自动补全要输入的“转换”或“行动”。 例如: 输入 rdd = sc.pa之后,再按TAB键就能自动补全rdd= sc.par...

2018-04-01 23:41:57

阅读数:239

评论数:0

pandas中的DataFrame按指定顺序输出所有列

问题: 输出新建的DataFrame对象时,DataFrame中各列的显示顺序和DataFrame定义中的顺序不一致。 例如: import pandas as pd grades = [48,99,75,80,42,80,72,68,36,78] df = pd.DataFrame( {'...

2018-03-25 22:20:10

阅读数:4639

评论数:0

Windows上配置Python+Spark开发环境

1、配置过程 详细配置步骤参考:Windows和PC机上搭建Spark+Python开发环境的详细步骤 按照上述配置过程,当采用Anaconda 5.1 (Python3.6)+java1.7.0_79+spark2.0.1+Hadoop2.6.0进行配置时,出现如下错误: Attrib...

2018-03-18 21:24:07

阅读数:1860

评论数:0

基金行业的概念理解

基金投资的主要优势 分散化:单个人(机构)资金有限,很难有效的进行分散投资,而基金公司资金规模大,可以覆盖更多的投资标的,将风险分散。 专业化:基金投资受到的限制比个人更少,且基金经理更专业,可以更快地应对市场变化。 基金的种类 货币型:流通性好,可很短时间内变现; 债券型:稳定性...

2018-03-11 23:47:49

阅读数:112

评论数:0

CentOS网络配置文件中UUID参数释疑

1、VMware中安装多台虚拟机的步骤 VMware中安装多台CentOS可参考如下步骤: 先按照链接安装好CentOS,安装好后会得到一个目录,如下图所示。(注意:目录位置是自己设定的,NAT方式联网,采用dhcp自动获取IP地址) 在CentOS关机状态下将CentOS 64位...

2018-03-04 16:51:22

阅读数:3098

评论数:0

Markdown文档常用字体及颜色设置

1、字体、字号、颜色设置 <font face="微软雅黑" >微软雅黑字体</font> <font face="黑体&q...

2018-02-25 18:00:06

阅读数:1532

评论数:1

Python分析A股市场财务报表经验总结

1、读取具体目录下的文件名或目录名 import os path_root = 'F:\\data\\A股报表大全' dirs = os.listdir(path_root) for dir in dirs: print(dir) 2、csv文件内容的读取 (1)取出csv文件中...

2018-02-17 20:41:24

阅读数:1290

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭