D_huanbia_CSDN博客-linux笔记,Spark,Python学习领域博主

私信关注

huanbia

码龄8年

目前就职北京科技大学
于 2012-09-10 加入CSDN

获得成就

获得136次点赞
内容获得93次评论
获得135次收藏

荣誉勋章

TA的专栏

Executor updated: app-20181031153851-0007/1 is now EXITED (Command exited with code 1)

最近在尝试通过python和java在本地远程调用spark，具体如何用java远程调用spark，可参考我另一篇博客：Idea基于maven，java语言的spark环境搭建实验环境client集群centos单机4个hadoop节点集群，ip分别为192.168.20.[61,62,63,64]，61为主节点问题描述代码其实比较简单，java代码如下，主...

wget: unable to resolve host address解决方法

利用wget下载东西时，比如输入指令wget www.baidu.com提示报错“wget: unable to resolve host address …”wget：无法解析主机地址。这就能看出是DNS解析的问题解决办法：修改/etc/resolv.conf文件，添加nameserver即可，下面给出两个通用的谷歌域名服务器，如果有自己解析服务器也可以换成自己的vim /etc/...

anaconda python 版本对应关系

python2python3anaconda2/32.7.143.6.55.2.02.7.143.6.45.1.02.7.143.6.35.0.12.7.133.6.25.0.02.7.133.6.14.4.02.7.133.6.04.3.12.7.133.6.04.3.02.7.123.5.24.2....

Echarts最新json地图文件

ECharts 之前提供下载的矢量地图数据来自第三方，由于部分数据不符合国家《测绘法》规定，目前暂时停止下载服务。如上面的引用所示，echarts无法下载最新的地图数据了，最近在做北京地图数据，发现下载的beijing.json文件总是带着宣武区和崇文区，而2010年两个区分别被合并到西城区和东城区了，而网上下载的beijing.json文件依旧存在，所以费了一些力气找到了最新版的地图数据，...

深入浅出PMP(中文版)

《深入浅出PMP（*版第3版）》以一种有趣而不令人乏味的方式提供了针对《PMBOKGuide》原则的完整覆盖。本书将以一种独特方法帮助你准备认证考试，它将让你思考整个项目管理的总体方向而不是那些特定问题的答案。通过将项目管理知识放入上下文中，你将能够理解、记忆和应用它们——不仅仅在考试中，而且在工作中。这也是为什么很多人把《深入浅出PMP》作为他们**的资料来通过PMP考试！本书基于神经生物学、认知科学和学习理论方面**的研究成果，它使用了多种丰富生动的组织形式来适应你的大脑，而不是那种只会让人昏昏欲睡的长篇累牍。

rar

发布资源于 3 年前

mysql修改已存在库的编码

有时我们在mysql下创建库，如果仅仅修改了mysql server和client的编码格式，只是在创建新库的时候编码格式才会对应改变，原来已创建的库的编码格式不会进行改变，针对这种情况，我门需要修改已经创建的库以及库下对应表的编码格式。本博客中以db_test作为库，tb_test1,tb_test2对应该库下对应的表针对已创建的库alter database <数据库...

时间序列分析及应用：R语言（原书第2版）

译者序前言第1章引论 1.1 时间序列举例 1.2 建模策略 1.3 历史上的时间序列图 1.4 本书概述习题第2章基本概念 2.1 时间序列与随机过程 2.2 均值、方差和协方差 2.3 平稳性 2.4 小结习题附录A 期望、方差、协方差和相关系数第3章趋势 3.1 确定性趋势与随机趋势 3.2 常数均值的估计 3.3 回归方法 3.4 回归估计的可靠性和有效性 3.5 回归结果的解释 3.6 残差分析 3.7 小结习题第4章乎稳时间序列模型 4.1 一般线性过程 4.2 滑动乎均过程 4.3 自回归过程 4.4 自回归滑动平均混合模型 4.5 可逆性 4.6

rar

发布资源于 3 年前

数理统计与数据分析（John A.Rice)

我觉得这是我做数据分析以来了解概念比较深的一本书，本书是英文版本，本想免费分享给大家，但苦于csdn改版后资源分最少选择2分，希望大家多多包涵

rar

发布资源于 3 年前

常用vim命令

替换里面涉及的参数主要有s（switch替换）和g（global全局）替换语法分别如下：:s/old/new/ 将当前第一次出现的old改成new:s/old/new/g 将当前行old改成new:40,70 s/old/new/g 将40行到70行的old改成new:40,$ s/old/new/g 将40行以后的old改成new:%s/old/ne

linux grep 正则表达式

本文转自：http://www.cnblogs.com/xiaouisme/archive/2012/11/09/2762543.htmlgrep正则表达式元字符集： ^ 锚定行的开始如：'^grep'匹配所有以grep开头的行。 $ 锚定行的结束如：'grep$'匹配所有以grep结尾的行。 . 匹配一个非换行符的字符如：'gr.p'匹配gr后接一个任意字符，然后是p。

awk打开多个文件的方法

本文引自：http://www.cnblogs.com/Berryxiong/p/6209324.html1、当awk读取的文件只有两个的时候，比较常用的有三种方法（1）awk 'NR==FNR{...}NR>FNR{...}' file1 file2（2）awk 'NR==FNR{...}NR!=FNR{...}' file1 file2（3）awk 'NR==FNR{.

结合Scikit-learn介绍几种常用的特征选择方法

结合Scikit-learn介绍几种常用的特征选择方法作者：Edwin Jarvis本文转自：http://www.cnblogs.com/hhh5460/p/5186226.html特征选择(排序)对于数据科学家、机器学习从业者来说非常重要。好的特征选择能够提升模型的性能，更能帮助我们理解数据的特点、底层结构，这对进一步改善模型、算法都有着重要作用。特征选择主要有两个功能：

ubuntu下安装thrift

博主想要搭建thrift来使用python访问集群hbase，但是在centos6.5下编译的时候往往会出各种问题，比如如下这个问题就是其中的一种，但苦于太菜，至今没有解决，所以决定使用ubuntu来安装thrift了。 /usr/include/event2/event_struct.h:123: error: redefinition of ‘struct event’ /usr/in

解决python针对hdfs上传和下载问题

当我们使用python的hdfs包进行上传和下载文件的时候，总会出现如下问题requests.packages.urllib3.exceptions.NewConnectionError:: Failed to establish a new connection: [Errno -2] Name or service not known其实这主要是由于没有将各个集群节点的ip映射到/

使用python的hdfs包操作分布式文件系统（HDFS）

目录(?)[+]转自：@http://blog.csdn.net/gamer_gyt，Thinkagmer 撰写=====================================================================================写在前边的话：之前做的Hadoop集群，组合了Hive

Python MySQLdb模块中的ping()

本文转自：http://www.cnblogs.com/bugmaker/articles/2444905.htmlMySQLdb.connection.ping()函数可以用来检测在访问前检测数据库的连接是否存在使用help函数获得帮助信息如下：Checks whether or not the connection to the server isworking. If i

python mysql html转义问题

有时我们想要通过python将爬虫得到的html代码存入mysql，这个时候由于原html中有各种特殊符号，尤其是像单引号和双引号，影响存储，此时我们需将特殊字符进行转义，通常python相关的mysql包一般会带有escape_string方法，比如我用的pymysqlimport pymysqlprint(pymysql.escape_string("'ab'c"))结果为：\’ab\’c

python mysql 'latin-1' codec can't encode character

当我们使用python来向mysql中插入数据的时候，经常会遇到拉丁语转码错误问题，因为python中的mysql相关包好多都是使用的mysql默认编码，即拉丁语，所以当我们声明链接的时候同时要指定编码语言，比如声明为utf8：conn = pymysql.connect(host='localhost',port= 3306,user = 'root',passwd='root',db='db1'

[剑指offer]连续子数组的最大和

本博文引自：http://blog.csdn.net/u014458048/article/details/54971991题目描述：输入一个整形数组，数组里有正数也有负数。数组中连续的一个或多个整数组成一个子数组，每个子数组都有一个和。求所有子数组的和的最大值。要求时间复杂度为O(n)。解题思路设sum[i]表示以nums[i]结尾的子数组的最大和，则sum[i]与s

数据库事务隔离级别-- 脏读、幻读、不可重复读

一、数据库事务隔离级别数据库事务的隔离级别有4个，由低到高依次为Read uncommitted 、Read committed 、Repeatable read 、Serializable ，这四个级别可以逐个解决脏读、不可重复读、幻读这几类问题。√: 可能出现 ×: 不会出现脏读不可重复读幻读Read

浅谈CMS垃圾收集器与G1收集器

1、CMS收集器 CMS收集器是一种以获取最短回收停顿时间为目标的收集器。基于“标记-清除”算法实现，它的运作过程如下：1）初始标记2）并发标记3）重新标记4）并发清除初始标记、从新标记这两个步骤仍然需要“stop the world”，初始标记仅仅只是标记一下GC Roots能直接关联到的对象，熟读很快，并发标记阶段就是进行GC Roots

TCP三次握手详解及释放连接过程

TCP头部：其中 ACK SYN 序号这三个部分在以下会用到，它们的介绍也在下面。暂时需要的信息有：ACK ： TCP协议规定，只有ACK=1时有效，也规定连接建立后所有发送的报文的ACK必须为1SYN(SYNchronization) ：在连接建立时用来同步序号。当SYN=1而ACK=0时，表明这是一个连接请求报文。对方若同意建立连接

Bootstrap定义操作列

直接粘贴代码如下：$('#tb_advice').bootstrapTable({ data: indexList, columns: [{ checkbox: true }, { fi

Linux 下安装 NVIDIA 显卡驱动

大部分 Linux 发行版都使用开源的显卡驱动 nouveau，对于 nvidia 显卡来说，还是闭源的官方驱动的效果更好。最明显的一点是，在使用 SAC 拾取震相的时候，使用官方显卡驱动在刷新界面的时候要快很多。对于 CentOS 用户而言，有两种安装 NVIDIA 显卡驱动的方法，从 ELRepo 源中安装或从源码编译驱动。对于一般的 CentOS 用户，建议使用第一种方法。

Linux软连接和硬链接

1.Linux链接概念 Linux链接分两种，一种被称为硬链接（Hard Link），另一种被称为符号链接（Symbolic Link）。默认情况下，ln命令产生硬链接。【硬连接】硬连接指通过索引节点来进行连接。在Linux的文件系统中，保存在磁盘分区中的文件不管是什么类型都给它分配一个编号，称为索引节点号(Inode Index)。在Linux中，多个文件名指向同一索引节点是存在的。一般这种

CentOS 6.5 安装R语言3.2.2

从地址（https://cran.r-project.org/src/base/R-3/）下载R语言的tar包我下载的是：https://cran.r-project.org/src/base/R-3/R-3.2.2.tar.gz然后安装相关依赖包： #yum install gcc-gfortran #yum install gcc gcc-c++

bootstrap-table 中columns中editable type为select默认使用本列数据

当时用bootstrap-table中的columns中editable中的type为select编辑模式下，我们需要必须制定source，然而source方法又没有一应该列数据的function，通过追踪源码以及修改相应的源码，对该方法进行了实现。目的目前有如下的json需要绑定到bootstrap的table中{ "id": k, "table1": 数据库2, "table1Relation

centos下安装中文输入法问题汇总

中文输入法安装centos下安装中文输入法的整个流程可以参照百度经验：https://jingyan.baidu.com/article/da1091fb3e7f8a027849d681.html问题1 选择输入法下的“首选输入法”（Input Method Preferences…）不出东西更新Python后中文输入法ibus的候选框没了，原因为输入法使用了python，而python版本变化后不

python程序来获取当前已经的安装模块

本人使用的是python3,直接上代码#coding=utf-8import osdef getAllModule(): moduleList = os.popen("pip list").read() print(moduleList.split('
'))if __name__ == "__main__": getAllModule()结果如下图

pandas.DataFrame.to_json按行转json

最近需要将csv文件转成DataFrame并以json的形式展示到前台，故需要用到Dataframe的to_json方法 to_json方法默认以列名为键，列内容为值，形成{col1:[v11,v21,v31…],col2:[v12,v22,v32],…}这种格式，但有时我们需要按行来转为json，形如这种格式[row1:{col1:v11,col2:v12,col3:v13…},row2:{

PowerDesigner设置主键自增长

本人在PowerDesigner中设计了一张User表，其中想为将主键变为递增。选中UserId单击右键选择Properites 将Identity选中即可

MySQL错误Another MySQL daemon already running with the same unix socket.

在国外网站发现的解决方法。原因多个MySQL进程使用了同一个socket。两个方法解决：第一个是立即关机使用命令 shutdown -h now 关机，关机后在启动，进程就停止了。第二个直接把mysql.sock文件改名即可。也可以删除，推荐改名。然后就可以启动mysql了。下面是国外原文To prevent the problem from occurring, you must perform

centos下开启mysql远程服务

设置mysql密码如果是新安装的mysql，请输入如下命令来设置mysql密码mysqladmin -u root password "newpassword"-- 如果需要重新修改面，可执行如下命令：mysqladmin -u用户名 -p旧密码 password 新密码赋予远程权限此时登录mysql数据库，执行如下命令来为某用户赋予远程权限use mysql;GRANT ALL PRIVI

Java中用单例模式有什么好处

Java Singleton模式主要作用是保证在Java应用程序中，一个类Class只有一个实例存在。使用Singleton的好处还在于可以节省内存，因为它限制了实例的个数，有利于Java垃圾回收（garbage collection）。我们在浏览BBS、SNS网站的时候，常常会看到“当前在线人数”这样的一项内容。对于这样的一项功能，我们通常的做法是把当前的在线人数存放到一个内存、文件或者数据库中

spark中sortByKey后存储为单个文件

需求：最近需要统计hbase中某个表行健的长度，最终按照行健长度排序，提取出数据样式如下，rowkey和长度按照“,”分割： rowkey 长度 http:http://www.ccps.gov.cn/ 28 http:http://www.ccps.gov.cn/ 28 1.23.168.192:http/ 18 1.23.168.192:http/ 18

idea change scala version

File | Other Settings | Default Project Structure | Global Librariesclick ‘+’ button at the top left hand of the window select ‘Scala SDK’ add or update the version you want

Hadoop默认端口表及用途

端口用途 9000 fs.defaultFS，如：hdfs://172.25.40.171:9000 9001 dfs.namenode.rpc-address，DataNode会连接这个端口 50070 dfs.namenode.http-address 50470 dfs.namenode.https-address 50100 dfs.namenod

slf4j-1.7.6

zip

发布资源于 4 年前

kafka_2.9.2-0.8.1

tgz

发布资源于 4 年前

scala-2.11.4

tgz

发布资源于 4 年前

kafka集群搭建

环境说明选用hadoop集群中的三个节点hadoop01,hadoop02,hadoop03来装kafka，且该三个节点上已安装了zookeeper，如没有安装zookeeper，请参考上一篇文章：搭建三个节点的zookeeper安装kafka需要的其余软件包有scala，slf4j-1.7.6中的slf4j-nop-1.7.6.jar文件，本文使用的各软件包的版本如下：kafka_2.9.2，

搭建三个节点的zookeeper

本文所用环境，如果没有请结合自身环境进行搭建4个hadoop节点，hadoop版本为2.7.1，主机名称分别为hadoop01、hadoop02、hadoop03、hadoop04，且ssh已经建立zookeeper版本为3.4.5，所存放目录为/opt/moudles下 1. 解压zookeeper执行如下命令：cd /opt/moudles/tar –zxvf zookeeper-3.

Spark性能优化指南——基础篇

本文引自：http://tech.meituan.com/spark-tuning-basic.html前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Sp

Spark性能优化指南——高级篇

本文引自：https://zhuanlan.zhihu.com/p/22024169美团点评技术团队8 个月前前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。数据倾斜调优调优概述有的时候，我

Idea基于scala语言构建spark开发环境搭建

需要文件 intellij idea需要安装scala 本实验使用的是spark-1.6.1 将spark文件夹下的lib目录下的spark-assembly-1.6.1-hadoop2.6.0.jar拷出作为备用创建spark项目选择File->New->Project 点击Next,输入项目名称，本实验中使用的项目名称为：ScalaWordCount 点击Fini

Idea基于maven，java语言的spark环境搭建

环境介绍：IntelliJ IDEA开发软件，hadoop01-hadoop04的集群（如果不进行spark集群测试可不安装）准备工作首先在集群中的hdfs中添加a.txt文件，将来需在项目中进行单词统计构建Maven项目点击File->New->Project… 点击Next，其中GroupId和ArtifactId可随意命名点击Next 点击Finish，出现如下界面：

解决java.net.UnknownHostException: 主机名: 主机名: 未知的名称或服务

问题场景：使用maven调试构建spark开发环境，于本地执行spark程序，报java.net.UnknownHostException:主机名：主机名:未知的名称或服务错误解决方式：修改本地的hosts文件，添加[127.0.0.1 主机名]的映射,比如我的主机名为HaSpark,如下图所示：修改etc/hosts文件前后对比如下：修改前：修改后：最终运

CentOS6.5系统更改yum源为16

本文引自：http://www.centoscn.com/CentOS/config/2015/0620/5693.html1、备份系统源# cd /etc/yum.repos.d# mv CentOS-Base.repo CentOS-Base.repo.bak 2、设置默认源为163# wget http://mirrors.163.com/

《spark机器学习》电影数据集

《spark机器学习》的电影数据集，大家也可以在这个网址进行下载：http://files.grouplens.org/datasets/movielens/

zip

发布资源于 4 年前

Oracle脏读处理方式

本博文引自：http://hhw3.blog.163.com/blog/static/2690966201273144634595/ 需要先了解一下这一特性的产生的背景原因。看下以下这个例子。在一个银行系统中(一般涉及到钱的问题对并发事务要求是最严格的^_^)，会计正在统计当月某地区的个人存款总额，她的这个操作，在后台肯定要产生一条SQL语句，对这一地区的所有用户的存款额作SUM()，我们假设这一

linux利用sed去除中括号[]

先引用别人的博客中的内容来讲解一下sed，该博客地址为：http://www.cnblogs.com/end/archive/2012/05/24/2517131.html内容如下：1、网络上现成的资料　　格式: sed -i “s/查找字段/替换字段/g” grep 查找字段 -rl 路径　　linux sed 批量替换多个文件中的字符串　　sed -i “s/oldstring/newstr

bash:...： is a directory

最近配置spark时修改.bashrc后，当执行的时候总是会报bash:…： is a directory错误，.bashrc文件内容如下：# .bashrc# Source global definitionsif [ -f /etc/bashrc ]; then . /etc/bashrcfi# User specific aliases and functionsJAVA

centos6.5下配置django+uwsgi+nginx

本人系统使用的是cetos6.5，python版本为3.5安装django可利用如下命令行安装pip install django默认会安装到python目录下的bin文件夹下，如下图所示如果已经设置了python3.5环境变量可直接使用django-admin来创建项目如果没有可利用如下命令来创建软连接使django-admin任何目录下均可使用，注意：本人的python3.5目录为/usr

spark下跑python程序

本次实验是搭有spark环境的linux下跑的，spark版本为1.6.1，相当于在在spark本地执行，spark文件放在/opt/moudles/spark-1.6.1/（代码中会看到）编写python测试程序#test.py文件# -*- coding:utf-8 -*-import osimport sys#配置环境变量并导入pysparkos.environ['SPARK_HO

pdksh-5.2.14(32位和64位包).rar

安装oracle11g时提示没有此包，可针对自己的版本进行安装

rar

发布资源于 4 年前

libaio-devel-0.3.105-2.x86_64.rpm

linux下安装oracle时提示没有此包，请执行rpm -ivh libaio-devel-0.3.105-2.x86_64.rpm

rpm

发布资源于 4 年前

python爬取历史天气数据

环境说明扒取的网站：天气网，http://lishi.tianqi.com/ python版本:2.7 操作系统：windows 7 所依赖的包（如若没有请安装）包名说明官方地址 bs4 是一个可以从HTML或XML文件中提取数据的Python库 https://pypi.python.org/pypi/requests/ requests 基于 urlli

硬盘从服务器卸下装到另一个服务器重新做raid10

最近由于硬盘紧张，从一台12块硬盘的DELL服务器上卸下4块放在另一个DELL服务器上，当重新做raid10时，遇到了无法raid的问题问题刚转移过去的时候效果如图所示：解决如上图所示，我们注意到最后一项有为Foregin View，存储着上一个服务器的raid信息，按F2在这里我们进行清除点击ok回到首项，此时就显示所有的硬盘，并可以做raid10了，可以F2来创建一个磁盘组VD(Virt

R语言将1对多数据与1对1数据互换

想了好长时间名字，不知道要解决的问题的名字叫什么，直接上问题demo问题demo现在有用户消费金额的数据：用户日期金额小明 2016-01 300 小明 2016-02 500 小明 2016-03 400 小刘 2016-01 700 小刘 2016-02 800 小刘 2016-03 600我将以上数据格

Python下利用epd_free安装pandas

EPD(Enthought Python Distribution)，现在已经归为Enthought Canopy的一部分了，大家可以直接下载Enthought Canopy，Enthought Canopy自带pandas，无需另行安装pandas，可直接点击下载Enthought Canopy，然而有些书中的案例会依旧用到EPD，故在此讲述一下自己安装EPD以及pandas的过程。准备软件

搭建4个节点的Hadoop

说明本人将该4个节点的hadoop安装在了vmware上了，同时支持安装在物理机或者vmware ESXi上。节点说明 ip地址 hadoop01 主节点 192.168.10.61 hadoop02 从节点 192.168.10.62 hadoop03 从节点 192.168.10.63 hadoop04 从节点 192.168.10.

hadoop客户端该如何配置

Hadoop集群主要是由三部分组成的：主节点、从节点和客户端，即master、slave和client。我们在搭建hadoop集群的时候通常只考虑了主节点和从节点的搭建，却忽略了客户端。当我们搭建完成后，我们在其中的一台机器上运行wordcount或者计算π时，实际上我们已经默认将一台主节点或者一台从节点当做客户端来使用了，但是，如果我想把客户端独立，该如何单独配置客户端呢？答案其实很简单，只要在配

Adobe Flash Professional CS6安装失败问题

今天安装Adobe Flash Professional CS6遇到如下问题：解决方法：可参考，不一定完全适用 windows 32位下将C:\Program Files\Common Files\Adobe\caps下的.db文件删掉 windows 64位下将C:\Program Files（X86）\Common Files\Adobe\caps下的.db文件删掉

LNK1123: 转换到 COFF 期间失败: 文件无效或损坏

用VS2010编译C++项目时出现这样的错误：LNK1123: 转换到 COFF 期间失败: 文件无效或损坏方案一：（这个方法比较好，在用qt运行时出现问题也能解决）复制 C:\Windows\winsxs\x86_netfx-cvtres_for_vc_and_vb_b03f5f7f11d50a3a_6.1.7601.17514_none_ba1c770af0b2031b 目录下的 cvtres.

RDD之aggregate

定义定义可参考RDD的API aggregate[U](zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)(implicit arg0: ClassTag[U]): U Aggregate the elements of each partition, and then the results for all the partition

解决windows下scala安装\scala\bin\scala.bat)错误

问题描述当在安装完scala后，如果安装目录中有空格则会报如下错误 \scala\bin\scala.bat)问题主要出在安装目录有空格上，比如我的安装目录为 D:\Program Files (x86)\scala解决方案重新安装scala到没有空格的目录比如我的改为 D:\scala

RDD之flatMap与Map对比

定义首先我们列出flatMap与Map的定义，可参考RDD API def map[U](f: (T) ⇒ U)(implicit arg0: ClassTag[U]): RDD[U] Return a new RDD by applying a function to all elements of this RDD. def flatMap[U](f: (T) ⇒ Trave

写了2个简单的工具脚本用来分发hdfs集群上的文件到所有节点,和远程执行命令

本博文转自写了2个简单的工具脚本用来分发hdfs集群文件到所有节点,和远程执行命令#!/bin/bashif [ $# != 2 ]; then echo "useage: $0 <hdfs_file> <dest_dir>" exit 1fiCURR_PATH="$(cd "`dirname "$0"`"/; pwd)"hosts_file=$CURR_PATH"/host

linux下多节点之间免密钥访问

说明：目前安装了4个Redhat linux操作系统，主机名分别为hadoop01,hadoop02,hadoop03,hadoop04 其中hadoop01为主节点hadoop01，其余为hadoop02，hadoop03,hadoop04为从节点四个节点ip地址为192.168.10.61~64. 如果不修改hosts文件，从第二部开始可将hadoop01~04改

解决SecureCRT下spark-shell中scala无法删除问题

问题描述当使用SecureCRT来打开spark-shell的时候，有时会出现如下问题，当输错的时候想要按Backspace（退格键）或“Delete(删除键)”的时候，无法删除前面删除的内容。解决方法问题主要出现在我们的SecureCRT上，我们只需要将会话选项中的仿真终端改成Linux即可可以此点击：菜单栏>选项>会话选项>终端>仿真>终端最终效果

解决spark-shell输出日志信息过多

当我们执行spark-shell的时候，会出现如下界面，如果觉得显示信息过多可通过修改conf文件夹下的log4j.properties文件让其只显示警告信息，而不显示所有的信息。解决方案1进入到spark目录/conf文件夹下，此时有一个log4j.properties.template文件，我们执行如下命令将其拷贝一份为log4j.properties，并对log4j.properti

mysql中利用ceil函数对成绩进行分段统计

栗子需求目前我有一张成绩表，以如下简单的形式存储着某一科成绩，如今我想统计一下成绩在0~20、20~40、40~60、60~80、80~100各个阶段下的学生的总个数，可通过该文最后的sql语句插入测试数据。 id score name 1 4 姓名1 2 6 姓名2 3 12 姓名3 … … … 20 96 姓名20栗子解决方

linux下如何设置环境变量PATH的多种方式

Ubuntu Linux系统环境变量配置文件： /etc/profile : 在登录时,操作系统定制用户环境时使用的第一个文件 ,此文件为系统的每个用户设置环境信息,当用户第一次登录时,该文件被执行。 /etc /environment : 在登录时操作系统使用的第二个文件, 系统在读取你自己的profile前,设置环境文件的环境变量。 ~/.profile : 在登录时用到

结束while(cin >> value)

当看《c++ primer》这本书的时候有这样一段示例代码#include <iostream>int main(){ int val,sum=0; while(std::cin>>val){ sum+=val; } std::cout<<"the result is "<<sum<<std::endl; return 0;}当自己在终端调

echarts之legend-改变图例的图标为自定义图片

legend是echarts中的图例名称类型默认值可选值效果 data Array [] 图例内容数组，数组项通常为{string}，每一项代表一个系列的name，默认布局到达边缘会自动分行（列），传入空字符串”可实现手动分行（列）。使用根据该值索引series中同名系列所用的图表类型和itemStyle，如果索引不到，该item将默认为没启用状态。

echarts之title-textAlign

title是echarts中的标题名称类型默认值可选值效果 textAlign string null left’ | ‘right’ | ‘center 标题的水平对齐方式当textAlign为‘left’ title:{ text:'test', subtext:'在此测试', x:'cente

echarts中显示效果option中必有的属性

写一个最简单的效果让option中不可缺少的属性。 var option = { xAxis:[ //x轴，数组对象，其下至少有一个对象 {.....} ], yAxis:[//y轴，数组对象，其下可以有空对象 {.....} ], series :[//驱动图表生

echarts之toolbox-x,y

toolbox是echarts中的工具箱名称类型默认值可选值效果 x string | number ‘right’ ‘center’ | ‘left’ | ‘right’ | {number}（x坐标，单位px）水平安放位置,当’center’时为中间，’left’ 时为左边，’right’时为右边，当为数字时为距离最左边的距离 y stri

echarts之toolbox-orient

toolbox是echarts中的工具箱名称类型默认值可选值效果 orient string ‘horizontal’ ‘horizontal’ | ‘vertical’ 布局方式，默认为水平布局,’horizontal’为水平，’vertical’为垂直当orient为‘vertical’ toolbox: { show : t

解决利用模板装linux网卡eth1问题

引子：我们当利用模板创建多个hadoop节点时，会遇到这种问题，模板中的网卡是eth0，而新安装的却是eth1，那么如何让新装的系统识别eth1并为其手动分配ip地址呢？cd /etc/sysconfig/network.scripts/mv ifcfg-eth0 ifcfg-eth1vim ifcfg-eth1此文档内容如下 DEVICE=eth0 ##将其改成eth1 T

echarts之tooltip-position

名称类型默认值可选值效果 position Array|Function null 位置指定，传入{Array}，如[x, y]，固定位置[x, y]；传入{Function}，如function([x, y]) {return [newX,newY]}，默认显示坐标为输入参数，用户指定的新坐标为输出返回。当postion为Array时 tool

echarts之tooltip-showContent

名称类型默认值可选值效果 showContent boolean true true，false 当true时显示内容，false不显示内容当showContent为true时刻参照我的上一篇文章echarts之tooltip-trigger，当showContent为false时的效果如下：当trigger:为’axis’时

echarts之tooltip-trigger

名称类型默认值可选值效果 trigger string ‘item’ ‘item’,’axis’ 触发类型，默认数据触发当trigger为’item’ tooltip : { trigger: 'item' },当trigger为’axis’ tooltip : { trigger:

echarts之tooltip

tooltip:提示框，鼠标悬浮交互时的信息提示。以下是官方给出的表格1 名称默认值描述 {boolean} show true 显示策略，可选为：true（显示） {number} zlevel 1 一级层叠控制。每一个不同的zlevel将产生一个独立的canvas，相同zlevel的组件或图标将在同一个canvas上渲染。zlev

shell脚本-变量

切记当var=va与var = va是两种不同的操作，前者是赋值操作，后者是相等操作

第一个shell脚本-helloworld

linux shell 只是一个命令解析器，同时支非交互式命令式脚本编程。[^footnote] 因此不同的shell可以用不同的方法解析命令。csh 语法类似与C语言。但目前不是很流行。zsh 兼容bash语法，但是有更多的功能。bash 是最流行的一个。语法也比较通用。第一个shell脚本在此我选择bash脚本作为我的第一个shell脚本，将其命名为helloworld.sh首先要说

html5参考手册

包括html5参考手册.chm，html.chm，html5.chm,html语言帮助文档.chm，w3c标准html5手册.chm

rar

发布资源于 9 年前

D

新一代人工智能发展白皮书.tar.gz

bootstrap-select多选传递到后台以及后台传递到前台绑定

Windows下python2.7安装64位mysqlclient

机器学习 - 竞赛网站，算法刷题网站（持续更新）

Executor updated: app-20181031153851-0007/1 is now EXITED (Command exited with code 1)

wget: unable to resolve host address解决方法

anaconda python 版本对应关系

Echarts最新json地图文件

深入浅出PMP(中文版)

mysql修改已存在库的编码

时间序列分析及应用：R语言（原书第2版）

数理统计与数据分析（John A.Rice)

常用vim命令

linux grep 正则表达式

awk打开多个文件的方法

结合Scikit-learn介绍几种常用的特征选择方法

ubuntu下安装thrift

解决python针对hdfs上传和下载问题

使用python的hdfs包操作分布式文件系统（HDFS）

Python MySQLdb模块中的ping()

python mysql html转义问题

python mysql 'latin-1' codec can't encode character

[剑指offer]连续子数组的最大和

数据库事务隔离级别-- 脏读、幻读、不可重复读

浅谈CMS垃圾收集器与G1收集器

TCP三次握手详解及释放连接过程

Bootstrap定义操作列

Linux 下安装 NVIDIA 显卡驱动

Linux软连接和硬链接

CentOS 6.5 安装R语言3.2.2

bootstrap-table 中columns中editable type为select默认使用本列数据

centos下安装中文输入法问题汇总

python程序来获取当前已经的安装模块

pandas.DataFrame.to_json按行转json

PowerDesigner设置主键自增长

MySQL错误Another MySQL daemon already running with the same unix socket.

centos下开启mysql远程服务

Java中用单例模式有什么好处

spark中sortByKey后存储为单个文件

idea change scala version

Hadoop默认端口表及用途

slf4j-1.7.6

kafka_2.9.2-0.8.1

scala-2.11.4

kafka集群搭建

搭建三个节点的zookeeper

Spark性能优化指南——基础篇

Spark性能优化指南——高级篇

Idea基于scala语言构建spark开发环境搭建

Idea基于maven，java语言的spark环境搭建

解决java.net.UnknownHostException: 主机名: 主机名: 未知的名称或服务

CentOS6.5系统更改yum源为16

《spark机器学习》电影数据集

Oracle脏读处理方式

linux利用sed去除中括号[]

bash:...： is a directory

centos6.5下配置django+uwsgi+nginx

spark下跑python程序

pdksh-5.2.14(32位和64位包).rar

libaio-devel-0.3.105-2.x86_64.rpm

python爬取历史天气数据

硬盘从服务器卸下装到另一个服务器重新做raid10

R语言将1对多数据与1对1数据互换

Python下利用epd_free安装pandas

搭建4个节点的Hadoop

hadoop客户端该如何配置

Adobe Flash Professional CS6安装失败问题

LNK1123: 转换到 COFF 期间失败: 文件无效或损坏

RDD之aggregate

解决windows下scala安装\scala\bin\scala.bat)错误

RDD之flatMap与Map对比

写了2个简单的工具脚本用来分发hdfs集群上的文件到所有节点,和远程执行命令

linux下多节点之间免密钥访问

解决SecureCRT下spark-shell中scala无法删除问题

解决spark-shell输出日志信息过多

mysql中利用ceil函数对成绩进行分段统计

linux下如何设置环境变量PATH的多种方式

结束while(cin >> value)

echarts之legend-改变图例的图标为自定义图片