- 博客(160)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark学习--spark-shell使用
Spark-shell使用配置好Spark集群，测试Sparkwordcount程序，可以通过基本的Spark-shell来进行交互式的代码提交，比如：val textFile = sc.textFile("words/test.txt")val result = textFile.flatMap(line => line.split("\\s+")).map(wo
2015-11-18 21:13:27
645
原创 Spark学习（一）---Spark-shell使用
Spark-shell使用配置好Spark集群，测试Sparkwordcount程序，可以通过基本的Spark-shell来进行交互式的代码提交，比如：val textFile = sc.textFile("words/test.txt")val result = textFile.flatMap(line => line.split("\\s+")).map(word
2015-11-18 21:06:55
2297
转载 SparkStreaming实验错误
转自：http://blog.csdn.net/stark_summer/article/details/49251709NetworkWordCount代码/** Licensed to the Apache Software Foundation (ASF) under one or more* contributor license agreements. See the N
2015-11-18 16:17:00
2044
原创 copyFromLocal异常DataNode启动不了
copyFromLocal: File /user/apple/test.txt.COPYING could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation.刚才执行 h
2015-11-17 17:17:46
661
转载 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-
目录 前言 1.相关环境 2.获取代码 3.安装Hadoop 4.安装Native Lib 5.安装完成 6.相关链接前言 最近需要安装CDH4.5, 在重启后提示缺失native lib, 经过一番折腾后,终于安装成功,下面记录下native lib的获取过程.@Author duangr@Website http://www.linuxidc.com/Linux/2014-0
2015-11-17 16:34:12
676
原创 hdfs创建文件出错
hadoop fs 下的命令不能使用，使用hadoop fs -ls提示：ls: `.’: No such file or directory。 解决方案： bin/hadoop hdfs fs -mkdir -p /in bin/hadoop hdfs fs -put /home/du/input /in如果Apache hadoop版本是2.x. bin/hdfs df
2015-11-17 16:18:57
2620
转载 hadoop常用命令
官网手册很详细 网址：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文
2015-11-17 15:23:54
416
原创 spark集群配置错误
1.当用hdfs传文件时，出现如下错误： Call to Master:9000 failed on connection exception 解决办法：把hadoop配置文件中的hdfs-site.xml中 dfs.data.dir /data/hdfs/data 中的文件夹中的所有文件删掉 然后在hadoop
2015-11-17 15:17:35
564
原创 centos把用户加入sudoers
切换到root用户，su root 2.chmod u+w /etc/sudoers 3.vi /etc/sudoers 4.在root ALL=(ALL) ALL,在他下面添加xxx ALL=(ALL) ALL (这里的xxx是你的用户名) ps:这里说下你可以sudoers添加下面四行中任意一条 youuser ALL=(ALL) A
2015-11-17 11:20:59
5448
原创 单机运行spark-shell出现ERROR Remoting: Remoting error: [Startup failed]
从现象来看应该akka不能绑定到ip或者端口，于是google找到答案，http://mail-archives.apache.org/mod_mbox/spark-user/201402.mbox/%3C9A13072E9AA64A9B846FACA846FCA7C8@gmail.com%3E只要将conf/spark-env.sh添加两个环境变量：export SPARK_MASTER_IP=l
2015-11-16 22:43:39
840
转载 Apache Spark学习：利用Eclipse构建Spark集成开发环境
董的博客 » Apache Spark学习：利用Eclipse构建Spark集成开发环境 addEventListener("load", function(){ setTimeout(updateLayout, 0); }, false); var current
2015-11-16 20:35:54
935
原创 eclipse 配置scala问题-More than one scala library found in the build path
配置eclipse出错按照这篇博客http://dongxicheng.org/framework-on-yarn/spark-eclipse-ide/安装scalaIDE插件，但是并没有成功，当引入如下spark-assembly-1.5.1-hadoop2.6.0.jar（对应我自己的spark下的jar包）会报错，提示这个jar包与源环境中的jar包冲突（提示scala环境冲突）—-未解决！！
2015-11-16 18:55:36
14850
原创 Python学习之路七---进阶知识
模块模块也就是子程序，它的主函数用于定义，包括定义函数、类和变量。如果模块包含测试代码，则应该将这部分代码放置在检查name==’main‘.在PYTHONPATH中找到的模块都可以导入。语句import foo可以导入存储在foo.py文件中的模块。 包：包是包含模块的模块，包是作为包含init.py文件的目录来实现的。 探究模块：将模块导入交互式编辑器后，可以使用很多方法对其进行探究来使用，
2015-11-12 17:09:08
567
转载 Python函数式编程指南（一）：概述
这大概算是Python最难啃的一块骨头吧。在我Python生涯的这一年里，我遇到了一些Pythoner，他们毫无例外地完全不会使用函数式编程（有些人喜欢称为Pythonic），比如，从来不会传递函数，不知道lambda是什么意思，知道列表展开但从来不知道用在哪里，对Python不提供经典for循环感到无所适从，言谈之中表现出对函数式风格的一种抗拒甚至厌恶。我尝试剖析这个问题，最终总结了这么两个原因：
2015-11-09 15:27:32
528
原创 Python学习之路六---迭代器、生成器
迭代器迭代器是访问集合元素的一种方式。迭代器对象从集合的第一个元素开始访问，直到所有的元素被访问完而结束。迭代器只能往前不能后退。 迭代器不要求你事先准备好整个迭代过程中所有的元素。迭代器仅仅在迭代至某个元素时才计算该元素，而在这之前或之后，元素可以不存在或者被销毁。这个特点使得它特别适合用于遍历一些巨大的或是无限的集合，比如几个G的文件，或是斐波那契数列等等。这个特点被称为延迟计算或惰性求值(L
2015-11-09 15:23:15
550
原创 Python学习之路五---列表和元组
序列Python中包含6种内建的序列，列表、元组、字符串、Unicode字符串、buffer对象和xrange对象。列表和元组的主要区别在于，列表可以修改而元组、字符串则不能。因此在需要操作一组数值的时候，序列很好用，如果这组数值需要改变则可以使用列表，不改变的话可以使用元组。序列（如列表和元组）和映射（如字典）是两类主要的容器。序列中每个元素都有自己的编号，而映射中的每个元素则有一个名字（即键）。
2015-10-31 22:10:26
639
转载 基于大数据分析的安全管理平台技术研究及应用
源自：http://www.aboutyun.com/thread-13793-1-1.html 问题描述： 1.什么是大数据？ 2.大数据的基本特征是什么？ 3大数据安全分析技术的安全管理平台具有以下显著特征是什么？ 4.安全数据的大数据化的主要表现【内容摘要】首先通过介绍大数据的起因，给出了大数据的定义和特征描述，并简要说明了当前大数据的研究概况。接下来，本文阐释了大数据分析技术，对大
2015-10-30 17:27:06
2012
原创 《数学之美》--读书笔记
文字和语言 VS 数字和信息香农-信息论 今天信息科学通信的基本原理是，如果信道较宽，信息不必压缩就可以直接进行传递；如果信道很窄，信息在传递之前要尽可能的压缩，然后在接收端进行解压缩。在古代，两个人说话很快是一个宽信道，无需压缩；而书写则是一个窄信道需要压缩也即是文言文的简洁性的一种体现。 不得不说古人的一些做法还是很有智慧的，比如圣经的抄写时候为了校验每一页抄的对与否，通过让每个文字代表一
2015-10-30 16:02:02
701
转载 An Architecture for Fast and General Data Processing on Large Clusters
来源：https://code.csdn.net/CODE_Translation/spark_matei_phd 介绍大型集群上的快速和通用数据处理架构An Architecture for Fast and General Data Processing on Large ClustersMatei Zaharia 著CSDN CODE翻译社区 译加州大学伯克利分校电气工程和计算机科学系技术报
2015-10-29 09:42:35
988
原创 Python学习之路四---面向对象
基本概念对象(object)可以看做是数据(特性)以及由一系列可以存取、操作这些数据的方法所组成的集合。主要有以下特点：封装：主要是一个隐藏了各种细节的集合，只公开代码单元的对外接口；继承：就像人类遗传继承，孩子会继承父母的特点，但也可以拥有属于自己的特点；多态：意味着可以对不同类的对象使用同样的操作。前两个特性比较容易理解，下面解释下多态： 多态 多态意味着就算不知道变量引用的对象类型是
2015-10-29 09:38:18
570
原创 Python学习之路三--（lambda应用）
lambda函数简介lambda函数也叫匿名函数，即，函数没有具体的名称，而用def创建的方法是有名称的。 使用lambda函数还有一些注意事项： lambda 函数可以接收任意多个参数 (包括可选参数) 并且返回单个表达式的值。 lambda 函数不能包含命令，包含的表达式不能超过一个。 比如:def foo(): #命名的foo函数 return 'Hello world!'
2015-10-28 14:39:51
626
原创 Python学习之路二---（基础知识）
面向对象编程根据操作数据或者语句来设计程序，称之为面向过程的编程。把数据和功能结合起来的，用称之为对象的东西包裹起来组织程序的方法称之为面向对象的编程概念。 类和对象是面向对象编程的两个主要的方面。类创建一个新类型，而对象则为类的实例。 类使用class关键字创建。类的域和方法被列在一个缩进块中。 属于一个对象或类的变量被称为域。对象也可以使用 属于 类的函数来具有功能。这样的函数被称为类的方
2015-10-26 19:35:38
623
原创 Python学习之路一--（基础知识）
基本知识Python有四种数据类型–整数、长整数、浮点数、和复数。 print不想换行的话在后面加个, 如：print ‘asia’, 空白在Python中是重要的。事实上行首的空白是重要的。它称为缩进。在逻辑行首的空白（空格和制表符）用来决定逻辑行的缩进层次，从而用来决定语句的分组。这意味着同一层次的语句必须有相同的缩进。每一组这样的语句称为一个块。 if语句在结尾处包含一个冒号——我们通
2015-10-23 16:52:34
585
原创 C语言相关知识
在Linux系统之中，EOF根本不是一个字符，而是当系统读取到文件结尾，所返回的一个信号值（也就是-1） Linux中，在新的一行的开头，按下Ctrl-D，就代表EOF（如果在一行的中间按下Ctrl-D，则表示输出”标准输入”的缓存区，所以这时必须按两次Ctrl-D）；Windows中，Ctrl-Z表示EOF。（顺便提一句，Linux中按下Ctrl-Z，表示将该进程中断，在后台挂起，用fg命令可以
2015-10-16 18:52:34
454
转载 ubuntu系统权限提权
catalog0. 引言1. Description2. Effected Scope3. Exploit Analysis4. Principle Of Vulnerability5. Patch Fix 0. 引言新技术、高性能技术的不断发展，越来越提升了操作系统的能力，而近几年出现的虚拟化技术，包括overlayfs虚拟层叠文件系统技术，则为do
2015-10-16 14:32:46
6042
原创 c
“undefined referenceto”的意思是，该函数未定义。如果使用的是gcc，有以下检查方案：如果提示未定义的函数是某个库的函数。检查库时候已经安装，并在编译命令中采用-l和-L参数导入库。如果提示未定义的函数是程序中的函数。检查是否在头文件中声明，是否在编译中有对应的obj文件，检查函数的或者变量的名字是否正确，是否是因为前后拼写不一致造成的。如果
2015-10-16 14:31:28
592
原创 Struct结构体的使用学习
Struct结构体的使用结构体的声明struct _Person{ char *name; int age; double height; };struct _Person p1; 每次使用结构体的时候都要struct _Person ，比如struct _Person p1={0};sizeof(struct _Person ); 太麻烦。 2、typedef
2015-10-09 09:04:21
511
原创 linux Gtk基本内容学习
CTK命名规则一般以gtk开头gtk_widget_代表这个函数应用于GtkWidget及所有的子类。gtk_container_代表这个函数可以应用于GtkContainer及所有子类。gtk_***_new，代表创建一个控件并且返回它的标号（编号），一般是返回指针地址；gtk_AAA_get_BBB，从AAA类型的控件的标识获得控件的BBB属性的值gtk_AAA_set_BBB，设置置
2015-09-30 20:50:18
1076
转载 字符 字符串 相关解释
空格符 和 空字符 是不一样的,在ASCII里面,空格(space)符号的ASCII码是32,而空字符是0, 2个是完全不一样的2个字符 空字符 一般来描述一个字符串的结尾,其实是控制符的一种,但不能理解为没有字符,应该理解为代表什么都没有的字符.好比回车0x0A和换行0x0D虽然不显示,但是也是控制字符的一种.(这些字符以前是用于打印机的,所以很多都没有用了)
2015-09-21 19:24:58
705
转载 Linux系统下proc目录详解
1,、proc — 一个虚拟文件系统 /proc 文件系统是一种内核和内核模块用来向进程 (process) 发送信息的机制 (所以叫做 /proc)。这个伪文件系统让你可以和内核内部数据结构进行交互，获取 有关进程的有用信息，在运行中 (on the fly) 改变设置 (通过改变内核参数)。 与其他文件系统不同，/proc 存在于内存之中而不是硬盘上。2、/proc 由内核控制，没
2015-09-07 15:26:25
597
转载 ubuntu逃逸到本地权限提升
catalog0. 引言1. Description2. Effected Scope3. Exploit Analysis4. Principle Of Vulnerability5. Patch Fix 0. 引言新技术、高性能技术的不断发展，越来越提升了操作系统的能力，而近几年出现的虚拟化技术，包括overlayfs虚拟层叠文件系统技术，则为do
2015-09-06 18:59:08
869
原创 重读C语言---基本知识 与概念 笔记
**1.** 由于库例程的名字通常以下划线开头，因此变量名一般不要以下划线开头；**2.** 变量名使用小写字母，符号变量名全部使用大写字母；**3.** 所有关键字的字符都必须小写；**4.** 局部变量名要能够尽量从字面上表达常量的用途，这样做不容易引起混淆。局部变量一般使用较短的变量名，外部变量使用较长的变量名。**5** long类型的常量以字母 l 或 L 结尾
2015-08-26 20:09:58
629
转载 桌面虚拟化实施遇到的基本问题
如今的终端用户计算已经到了一个革命性的时代，常常提到的一个愿景是：无论何时何处，无论你使用什么设备，都能访问你的应用和数据。桌面虚拟化能让我们离这个愿景更近一步么？从2008年底起我开始关注桌面虚拟化。之后几年里直接参与的桌面虚拟化项目也有四五个。虽然每年的很多媒体分析都吵吵着这是大势所趋，可并没有见到大规模的普及。细细想来，用户的很多顾虑也是情理之中。本文带你分析一些用户的顾虑，来探讨一
2015-08-18 12:59:34
2164
原创 Linux gcc 使用以及库文件的编译
gcc -E hello.c -o hello.i —预处理 gcc -S hello.i -o hello.s —编译 gcc -c hello.s -o hello.o —汇编 gcc hello.o -o hello —链接gcc hello.c -o hello —直接编译链接生成可执行文件 gcc -c
2015-08-14 20:27:29
924
转载 Static用法说明
1. 静态方法 通常，在一个类中定义一个方法为static，那就是说，无需本类的对象即可调用此方法 声明为static的方法有以下几条限制： · 它们仅能调用其他的static 方法。 · 它们只能访问static数据。 · 它们不能以任何方式引用this 或super。class Simple { static void go() {
2015-03-09 10:53:06
662
原创 java中button背景图片大小设置，JFrame.getContentPane().add(pane)与JFrame.add(pane)区别
给按钮添加背景图片，如何调整背景图片的大小，纠结了很久，终于在网上找到了一个解决方法，拿出来和大家分享一下：public void setIcon(String file, JButton iconButton) { ImageIcon icon = new ImageIcon(file); Image temp = icon.getIm
2015-03-08 11:24:15
2674
转载 mysql 5.6.14 win7 32位免安装版配置
下载安装mysql用了很长时间，这篇文章还是有很好地指导性。1.下载mysql 5.6.14；下载地址:http://cdn.mysql.com/Downloads/MySQL-5.6/mysql-5.6.14-win32.zip2.解压到自定义目录，我的是D:\ProgramFiles\mysql5614win32\bin3.复制根目录下的my-d
2015-01-27 22:01:05
984
原创 好用的jar包
可以使用commons-io-2.*.jar包，可以非常方便的将读取的文件转换为字符。比如： File file = new File("d:/index"); String s = FileUtils.readFileToString(file);
2014-12-05 22:52:28
655
centos7.6机器上离线安装docker-ce-19.03、nvidia-docker2
2023-11-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人