EricJeff_-CSDN博客

原创 RDDs基本操作Transformation和action

首先先了解一下这些概念：Spark 对数据的核心抽象—弹性分布式数据集（Resilient Distributed Dataset，简称 RDD）RDD是一个不可变的分布式对象集合，一旦创建便不能修改。每个RDD都可被分为多个分区，分布在不同的节点机器之上转换:（Transformation): 转化操作会由一个 RDD 生成一个新的 RDD，从已有的RDD派生出新的RDD,Spark会使用谱

2017-10-21 18:00:27 702

原创 spark安装local和standalone

首相下载：下载scala http://www.scala-lang.org/ 下载spark http://spark.apache.org/downloads.html 下载对应版本安装步骤：1.tar -zxvf scala_file2.添加环境变量(/etc/profile)3.source /etc/profile4.tar -zxvf spark_file5.添加环境变

2017-10-19 21:37:31 497

转载原码，补码，反码详解

一. 机器数和真值在学习原码, 反码和补码之前, 需要先了解机器数和真值的概念. 1、机器数一个数在计算机中的二进制表示形式, 叫做这个数的机器数。机器数是带符号的，在计算机用一个数的最高位存放符号, 正数为0, 负数为1.比如，十进制中的数 +3 ，计算机字长为8位，转换成二进制就是00000011。如果是 -3 ，就是 10000011 。那么，这里的 00000011 和 10000011

2017-10-17 19:50:37 1395 1

1.什么是zookeeperzookeeper:是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop的重要组件，CDH版本中更是使用它进行Namenode的协调控制。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高

2017-10-15 18:24:29 448

原创 Haproxy讲解

首先讲一讲三大主流软件负载均衡器对比(LVS VS Nginx VS Haproxy)LVS：1、抗负载能力强。抗负载能力强、性能高，能达到F5硬件的60%；对内存和cpu资源消耗比较低2、工作在网络4层，通过vrrp协议转发（仅作分发之用），具体的流量由linux内核处理，因此没有流量的产生3、稳定性、可靠性好，自身有完美的热备方案；（如：LVS+Keepalived）4、应用范围比较广，

2017-10-15 10:21:27 837

转载 iptables的讲解

一：前言防火墙，其实说白了讲，就是用于实现Linux下访问控制的功能的，它分为硬件的或者软件的防火墙两种。无论是在哪个网络中，防火墙工作的地方一定是在网络的边缘。而我们的任务就是需要去定义到底防火墙如何工作，这就是防火墙的策略，规则，以达到让它对出入网络的IP、数据进行检测。目前市面上比较常见的有3、4层的防火墙，叫网络层的防火墙，还有7层的防火墙，其实是代理层的网关。对于TCP/IP的七层模型来讲

2017-10-15 10:04:50 368

原创 Markdown的使用教程

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

2017-10-15 10:03:52 268

原创 socat安装

socat的主要特点就是在两个数据流之间建立通道；且支持众多协议和链接方式：ip, tcp, udp, ipv6, pipe,exec,system,open,proxy,openssl,socket等。 socat是一个多功能的网络工具，名字来由是” Socket CAT”，可以看作是netcat的N 倍加强版，socat的官方网站：http://www.dest-unreach.or

2017-10-14 18:15:37 10608

原创 linux中./configure 和它的参数讲解

./configure该脚本将运行一些测试来猜测一些系统相关的变量并检测你的操作系统的特殊设置，并且最后在制做树中创建一些文件以记录它找到了什么．缺省设置将制作服务器和应用程序，还有所有只需要C编译器的客户端程序和接口。缺省时所有文件都将安装到 /usr/local/pgsql．你可以通过给出下面 configure 命令行选项中的一个或更多的选项来客户化

2017-10-14 17:13:35 667

原创 eclipse创建maven web项目

点击file–>new—>maven project或（other –>maven project)–>next 出现如下图：点击next，然后选择webapp 填写 group id和artifact id，group id：一般是填写的是公司和组织的域名倒叙，artifact id：你的工程名配置maven：创建maven的一般目录： src目录下创建main/java,main

2017-10-11 11:42:12 234

原创 hbase shell 的基本常用操作

今天我们只讲hbase shell的基本操作，我们从这个几个方面讲 general，ddl，namespace，dml，tools，replication，snapshot，securitygeneralstatus：提供 HBase 的状态，例如，服务器的数量table_help：查看所有的帮助文档version：查看版本whoami：提供用户的信息如 spark (auth:SIMPL

2017-10-09 21:50:07 726

原创 sqoop基本介绍

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。导入图：sqoop的全称：sql-to-hadoopsqoop分为连个版本，这两个版本完全不兼容版本号的划分： apache:1.4.x~,1.99.

2017-10-08 19:02:56 1325

原创将mysql中数据导入到hbase中出现 NoSuchMethodError

具体的错误为：Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.hbase.HTableDescriptor.addFamily(Lorg/apache/hadoop/hbase/HColumnDescriptor;)V原因是：新的Hbase版本使用了新的Api，不支持老的api了。S

2017-10-08 17:07:29 1699

原创 hbase安装

首相下载：http://mirrors.shuosc.org/apache/hbase/1.1.12/安装步骤：1.tar -zxvf hbase-1.1.12-bin.tar.gz 2.修改/etc/profile export HBASE_HOME=/home/spark/app/hbase-1.1.12 export PATH=$PATH:$HBASE_HOM

2017-10-08 16:39:30 231

原创 sqoop安装

sqoop有两个版本：sqoop1和sqoop2如果你想自己编译源码:以下是执行步骤：1.下载源码2.运行mvn clean package -Pbinary -DskipTests如果报内存错误：set MAVEN_OPTS=XX:MaxPermSize=128M编译docs项目会报异常，对应的pom.xml的一个插件改一个版本3.3<dependency> <groupId>o

2017-10-08 14:22:14 509

原创 hdfs客户端上传文件追加出现的问题：

问题一org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.AlreadyBeingCreatedException):failed to create file解决方案：配置文件中：hdfs-site.xml<property> <name>dfs.support.append</name>

2017-10-07 19:21:48 1346

原创 Hive的基本概念

1）数据单元按照数据的粒度大小，hive数据可以被组织成： 1）databases：避免不同表产生命名冲突的一种命名空间 2）tables：具有相同scema的同质数据的集合 3）partitions：一个表可以有一个或多个决定数据如何存储的partition key 4）buckets（或clusters）：在同一个partition中的数据可

2017-10-06 19:38:28 2243

原创 hive安装配置

我们这里用的是本地模式—–metstore存在mysql数据库中首相：sudo apt-get update 更新一下 sudo apt-get install mysql-server 下载mysql 安装 hive让我们看看hive的结构图吧: 1.首相解压：tar -zxvf ...cd confcp hive-env.sh.template hive-env.sh修改一下内容

2017-10-06 17:30:29 564

原创简单说明CGI是什么

CGI是什么CGI是common gateway interface的缩写，大家都译作通用网关接口，但很不幸，我们无法见名知意。我们知道，web服务器所处理的内容都是静态的，要想处理动态内容，需要依赖于web应用程序，如php、jsp、python、perl等。但是web server如何将动态的请求传递给这些应用程序？它所依赖的就是cgi协议。没错，是协议，也就是web server和web

2017-10-06 10:02:11 2965

转载 log4j.properties配置详解与实例-全部测试通过

转载:http://blog.csdn.net/qq_30175203/article/details/52084127最近使用log4j写log时候发现网上的写的都是千篇一律，写的好的嘛不全，写的全一点的嘛没有一点格式，看着累。这里把网上收集到的整理了一下，并且全部都在机器上测试成功了。这么好的文档估计没有了吧? #########################################

2017-10-05 18:57:01 314

原创 kafka_2.11-1.0.0单机和集群的安装和配置

首先下载kafka安装包tar -zxvf kafka安装包cd configvim server.propertiesA.将zookeeper.connect=zookeeper的ip:2181 这一步也可以不做启动kafka如果A做了就不做这个BB. bin/zookeeper-server-start.sh config/zookeepe!bin/kafka-server-start

2017-10-05 16:21:15 4884

原创客户端连接redis出现:redis.clients.jedis.exceptions.JedisDataException: DENIED Redis is running

首先我们是远程连接redis注意要把它的ip绑定为远程的就是把 bind 127.0.0.1注释掉出现以上错误是因为:redis目前处于受保护模式，不允许非本地客户端链接，我们可以通过给redis设置密码，然后客户端链接的时候，写上密码就可以解决了两种方式:方式一：在redis.conf配置文件中：requirepass password方式二：用客户端登录 A.查看密码 confi

2017-10-01 17:49:52 5655 1

原创 redis编译出错:jemalloc/jemalloc.h: No such file or directory

今天使用redis，在make时出现了一个问题：找不到jemalloc.h这个文件原因：说关于分配器allocator，如果有MALLOC 这个环境变量，会有用这个环境变量的去建立Redis。而且libc 并不是默认的分配器，默认的是 jemalloc, 因为 jemalloc 被证明有更少的 fragmentation problems 比libc。但是如果你又没有jema

2017-10-01 17:12:16 658

原创 python运行出现SyntaxError:Non-ASCII character u'\xe4' ..

出现的原因是：Python默认的编码格式是：ascii，不能表示除英文以外，其他国家的字符。别灰心有解决办法: 首先让我们了解一下：ascii，unicode，UTF-8编码 ascii:一个字节存储字符，只能表示英文和阿拉伯数字和一些特殊字符 unicode:将几乎将全世界的字符都囊括了，Python也支持这个字符编码 utf-8：可以变长的编码，在unicode的基础上改进的现在计算机通

2017-09-25 11:55:08 1675

原创 git的常用命令

gitconfig–globaluser.name“YourName” git config –global user.name “Your Name” git config –global user.email “email@example.com”git init :创建一个版本库(仓库) git status:是否被修改 git diff :修改了什么东西 git commit:提

2017-09-23 12:59:43 188

原创 Python编写csdn刷博客数量软件

其实使用Python协议csdn刷博客数量软件很简单首先：pip install beautifulsoup4 然后:将XXXXXX改为你的博客名，启动就行了#!/usr/bin/python# -*- encoding:utf-8 -*-import urllib2import urllibimport threadingfrom bs4 import BeautifulSoupde

2017-09-21 20:44:38 6626

原创 python的urllib2和beautifulsoup编写爬虫

首先下在:pip install beautifulsoup4 我这里爬取的是Python2.7的廖雪峰老师的教程首先介绍项目的流程: 1.我这里首先是将需要爬取的内容爬出后放到了download_dir目录下，此时，文件中的img的图片路径是错的，所以要修改 2.img的路径修改分为线上和本地：线上：链接为网上的url。本地：首先下载图片到本地 3.线上：读取文件中download_dir

2017-09-21 19:27:39 1903

原创 windows安装pip和easy_install

easy_install 和 pip的介绍：easy_install和pip都是用来下载安装Python一个公共资源库PyPI 的相关资源包的，pip是easy_install的改进版，提供更好的提示信息，删除package等功能。老版本的python中只有easy_install，没有pip。easy_install 打包和发布 Python 包pip 是包管理安装Python地址

2017-09-19 20:51:52 1795

原创 windows安装mysql压缩版

直接在官网上下载（我这个是64位的)：https://dev.mysql.com/downloads/file/?id=471342 点击页面最下方：No thanks, just start my download.下载解压到你喜欢的目录：在主目录中创建my.ini这个文件和data文件夹打开my.ini文件输入以下内容：[mysql]# 设置mysql客户端默认字符集default

2017-09-19 11:39:07 2832

原创 windows访问vsftp服务器出现200,227错误

ftp服务器有两种工作模式，port和pasv（主动和被动）这两种模式都是客户端先向服务器端发出请求，服务器建立链接，以服务器为对象，当传输数据时，如果是服务器从20端口向客户端空闲端口发送请求建立链接，就是port（主动），反之，如果是客户端向服务器空闲端口请求建立链接，就是pasv(被动)当连接出现，如图错误时：打开IE浏览器：选择设置—-internet—–高级—-使用被动FTP（为防火墙

2017-09-16 21:01:19 18600 1

原创 windows中安装tomcat

打开浏览器：http://tomcat.apache.org/ 选择你自己需要的版本我们选择64-bit windows.zip压缩的，下载解压然后：配置环境变量这里首相申明一下，需要电脑事先有安装jdk：http://blog.csdn.net/w3045872817/article/details/76461375CATALINA_BASE CATALINA_HOME它们两个的

2017-09-13 23:10:28 289

原创 linux中apache的安装

Apache是世界使用排名第一的Web服务器软件。它可以运行在几乎所有广泛使用的计算机平台上，由于其跨平台和安全性被广泛使用，是最流行的Web服务器端软件。同时Apache音译为阿帕奇。apache和apache依赖库：我们这里安装的是apache-2.4.27，所以需要安装类库安装步骤：1.首先安装：apt-get expat-devel expat gcc gcc-c++ zlib zlib-d

2017-09-13 11:21:29 431

原创 ajax跨域传递cookie，验证登录

ajax跨域登录：系统权限安全框架使用shiro，系统登录时发送ajax请求调用springmvc action方法进行系统登录及身份认证，角色权限授权等。由于ajax请求时，浏览器会认为携带Cookie是不安全请求，将限制其携带Cookie信息，导致登录action方法无法获取并响应相应的Cookie（JSESSIONID），身份认证及角色权限授权、退出等都操作都无法正常使用。解决办法：在

2017-09-12 20:18:10 1046

原创 ubuntu设置静态ip

首先：用户设置为root（su -）1.将静态ip写入文件中：vim /etc/network/interfaces写入：auto eth0 #网卡的名字iface eth0 inet static #设置为静态ipaddress ip #ip号netmask 255.255.255.0 #一般都是这个gateway xxx.xxx.xxx.254或12.设置DNS服务器ip这

2017-09-11 20:10:03 254

原创 java编写模拟登陆爬虫

—-首先为什么能用程序去登陆网站?因为当我们访问网站后，服务端会生成一个sessionId，保存在客户端的cookie中，如何这个sessionId是正确登陆是返回的id，那么当我们访问需要登录才能访问的网页时，将这个sessionId加入访问数据中，服务器就知道我们已经登录了，所以就可以爬取需要登录的页面的内容我们需要用到的工具： Jsoup：http://download.csdn.net/d

2017-09-11 19:42:44 1824

原创使用dos编译java文件出现编码出错

出现编码错误的原因是：dos默认的编码字符中没有中文的所以会报错一般的错误为：解决方法为：javac -encoding utf-8 filename 就可以了

2017-09-10 20:56:59 383

原创 spark整合hbase

spark联合hbase可以将hbase的数据转化为RDD数据，便于spark操作如何使它们联合呢直接编辑spark-env.sh这个文件即可准备工作：hadoop，hbase需要有被配置成环境变量开始：在spark-env.sh文件中添加 export SPARK_DIST_CLASSPATH=$(hadoop classpath):$(hbase class

2017-09-07 21:31:28 2443

原创 spark整合hive和sql

1.首相将hive中的配置文件hive-site.xml，hadoop的配置文件core-site.xml,hdfs-site.xml------复制到$SPARK_HOME/conf/目录中2.再将jdbc驱动程序mysql-connector-java-x.x.x.jar 复制到$SPARK_HOME/jars或者$SPARK_HOME/lib目录下 3.启动动hadoop，h

2017-09-07 17:30:37 887

转载跨域解决 & ajax post 请求springmvc ctr 问题

1何为跨域简单的说即为浏览器限制访问A站点下的js代码对B站点下的url进行ajax请求。假如当前域名是www.abc.com，那么在当前环境中运行的js代码，出于安全考虑，正常情况下不能访问www.zzz.com域名下的资源。例如：以下代码再本域名下可以通过js代码正常调用接口(function() { var url = "http://localhost:8080/api/Home

2017-09-04 19:49:13 429

原创 hive和hbase整合

hive和hbase整合使用hbase客服端API实现的我这里使用的版本是apache-hive-0.13.1-bin.tar.gz和hbase-0.96.2-hadoop2.tar.gz 1.将hbase中lib目录中的ls hbase- 查出的jar包全部导入hive中的lib目录下，再将htrace-core-2.04.jar 查出来的包导入hive的lib目录下,如图 2.启动hive

2017-09-02 11:56:21 457

酷点桌面是一款实现计算机系统个性化的桌面美化软件

酷点桌面是一款实现计算机系统个性化的桌面美化软件。软件功能全面，可实现对“开机界面、登陆界面、系统外观、桌面壁纸、电脑图标、鼠标指针”的美化，并提供有易用的桌面美化增强插件等功能！

2019-12-23

masmAL.zip

MASM是Microsoft Macro Assembler 的缩写，是微软公司为x86 微处理器家族开发的汇编开发环境，拥有可视化的开发界面，使开发人员不必再使用DOS环境进行汇编的开发，编译速度快，支持80x86汇编以及Win32Asm，是Windows下开发汇编的利器。它与windows平台的磨合程度非常好，但是在其他平台上就有所限制，使用MASM的开发人员必须在windows下进行开发

2017-10-22

scala-2.11.11.tgz

cala 是一门多范式（multi-paradigm）的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性。 Scala 运行在Java虚拟机上，并兼容现有的Java程序。 Scala 源代码被编译成Java字节码，所以它可以运行于JVM之上，并可以调用现有的Java类库

2017-10-19

Git-2.8.1-64-bit.exe

Git是一个开源的分布式版本控制系统，可以有效、高速的处理从很小到非常大的项目版本管理。[2] Git 是 Linus Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件这个软件中含有bash模拟，让你在windows中使用和linux中一样

2017-09-23

Python爬虫包.zip

只是爬取廖雪峰老师的教程，使用的是urllib,urllib2,BeautifulSoup这几个模块我已经将这个爬虫的教程写到我的博客中了

2017-09-21

MySQL-python-1.2.3.win-amd64-py2.7.exe

python连接mysql的插件，MySQL-python-1.2.3.win-amd64-py2.7.exe对应的是2.7的Python版本，直接安装就行，然后就可使使用PythonIDE工具进行开发了

2017-09-19

netcat.rar

netcat是网络工具中的瑞士军刀，它能通过TCP和UDP在网络中读写数据。通过与其他工具结合和重定向，你可以在脚本中以多种方式使用它。使用netcat命令所能完成的事情令人惊讶。

2017-09-17

javaTransactJson.zip

JSON 即 JavaScript Object Natation，它是一种轻量级的数据交换格式，非常适合于服务器与 JavaScript 的交互。

2017-09-16

masm-debug-link

汇编大多是指汇编语言，汇编程序。把汇编语言翻译成机器语言的过程称为汇编，这里是模拟dos编译汇编的环境工具

2017-09-14

dosbox-debug

DOSBox是一个软件。它是当前在 Windows 系统运行 DOS 游戏的较为完美的解决方案，该软件不仅能支持相当多的游戏实现正常运行，而且能将声音完美表现出来

2017-09-14

apache-2.4.27(2)

Apache是世界使用排名第一的Web服务器软件。它可以运行在几乎所有广泛使用的计算机平台上，由于其跨平台和安全性被广泛使用，是最流行的Web服务器端软件。同时Apache音译为阿帕奇。

2017-09-13

apache-2.4.27

Apache是世界使用排名第一的Web服务器软件。它可以运行在几乎所有广泛使用的计算机平台上，由于其跨平台和安全性被广泛使用，是最流行的Web服务器端软件。同时Apache音译为阿帕奇

2017-09-13

jsoup-1.9.2.jar

jsoup 是一款 Java 的HTML 解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据

2017-09-10

hive-hwi-0.13.1.war

Hive有三种使用方式：CLI、HWI浏览器、Thrift客户端。安装配置完Hive后无需进行额外操作即可使用CLI。但是HWI则需要单独搭建，HWI是Hive Web Interface 的简称,是hive cli 的一个web 替换方案

2017-09-02

apache-hive-0.13.1-bin.tar.gz

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

2017-09-02