2017年05月_-Heres-

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月

原创 scala的数组、映射、元组和集合

一、数组1.1定义数组scala> val arr = new Array[Int](10)arr: Array[Int] = Array(0, 0, 0, 0, 0, 0, 0, 0, 0, 0)scala> arr(0)=1scala> arr(1)=2scala>val arr1 = Array(1,2,3,4)arr1：Array[Int] = Array(1,2,...

2017-05-24 22:32:35 1343

原创 scala中的方法与函数

package com.heres.scalaobject HelloScala { val func = (x: Int) => x*3 //另一种定义函数的方法 val startService: Int => Int = { num => num+1 } val func2:(Int,Double) => (Double,Int) = { (x,

2017-05-22 22:52:38 730

原创 hadoop之远程debug

一、JPDA 简介Sun Microsystem 的 Java Platform Debugger Architecture (JPDA) 技术是一个多层架构，使您能够在各种环境中轻松调试 Java 应用程序。JPDA 由两个接口（分别是 JVM Tool Interface 和 JDI）、一个协议（Java Debug Wire Protocol）和两个用于合并它们的软件组件（后端和前端）组

2017-05-09 20:24:39 668

原创 hadoop之RPC

RPC——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。RPC采用客户机/服务器模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。首先，客户

2017-05-09 18:52:45 408

原创 hadoop之日志分析

需求：通过分析论坛日志，计算论坛关键指标，供运营者决策。这个日志有五个字段：IP，访问时间，访问资源，访问状态，本次流量。 ***浏览量PV 定义：页面浏览量即为PV(Page View)，是指所有用户浏览页面的总和，一个独立用户每打开一个页面就被记录1 次。分析：网站总浏览量，可以考核用户对于网站的兴趣，就像收视率对于电视剧一样。但是对于网站运营者来说，更重要的

2017-05-08 22:56:10 832

原创 flume安装与配置

flume-1.5.0安装包下载（flume NG）：http://download.csdn.net/detail/vinsuan1993/9836334安装环境：centOS-6.5-64位1、需求：在一台机器部署flume，让其收集数据并将数据写到hdfs中。2、安装flume（flume并不依赖于hadoop框架，只依赖JDK和一些hadoop的jar包）2.1、将flum

2017-05-08 13:56:19 1596

转载 flume介绍之版本及其原理

一.概述Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 Flume 功能的扩展，Flume OG 代码工程臃肿、

2017-05-08 13:41:56 5524

原创 hive之UDF编程

0.要继承org.apache.hadoop.hive.ql.exec.UDF类实现evaluate 方法public class NationUDF extends UDF { public static Map nationMap = new HashMap(); static{ nationMap.put("China", "中国"); nationMap.put("Japa

2017-05-07 17:09:44 811

原创 hive常用语法小结

1、创建表（MANAGED_TABLE）：create table student(id bigint,name string) row format delimited fields terminated by '\t' stored as sequencefile;注：row format delimited表示一行是一条记录 fields terminated by ...

2017-05-06 22:51:25 801

转载列表（list）、元组（tuple）、字典（dict）和集合（set）的主要区别

列表（list）、元组（tuple）、字典（dict）和集合（set）具体使用可以参看博客：http://blog.csdn.net/vinsuan1993/article/details/71245757http://blog.csdn.net/vinsuan1993/article/details/71273364http://blog.csdn.net/vinsuan19

2017-05-06 18:08:21 1058

原创 python之集合

dict是建立了一系列的映射关系，而set是建立一系列无序的，不重复的元素。（1）创建1.1 直接使用大括号{}创建>>> set1 = {1,2,3,'sre'}>>> set1{1, 2, 3, 'sre'}注：集合元素是不可变类型，所以可以使用数值、字符串、元组，而不能使用字典；1.2 创建set的方式是调用set()并传入一个list(列表，也可以是元组...

2017-05-06 17:54:12 412

原创 python之字典

映射中的每个元素都有一个专业的名字，叫做键。字典是Python中唯一内建的映射类型，下来我们对其进行详细介绍：（1）键类型字典（dict）是一个存放无序的键值映射（key/value）类型数据的容器字典的键可以是数字、字符串或者是元组，键必须唯一。在Python中，数字、字符串和元组都被设计成不可变类型，而常见的列表以及集合（set）都是可变的，所以列表和集合不

2017-05-06 17:46:40 1005

原创 python之元组

一、创建与list所不同的是，tuple一般采用（）括起来，命令行中测试，如下：>>> T = (1,2,3)>>> T(1, 2, 3)>>> s= 1,2,3>>> type(s)>>> s(1, 2, 3)>>> T = "abc">>> type(T)>>> T'abc'创建空元组：>>

2017-05-06 17:24:01 354

原创 python之字符串

一、字符串的声明有三种方式：单引号、双引号和三引号（包括三个单引号或三个双引号）。例如：>>> str1 = 'hello world'>>> str2 = "hello world">>> str3 = '''hello world'''>>> str4 = """hello world&q

2017-05-06 17:05:56 367

原创 python之循环

一、for循环1、命名循环变量for year in range(1980,2020): print 'in the {} ...'.format(year)============= RESTART: C:/Users/vinsuan/Desktop/python笔记/1.py =============in the 1980 ...in the 1981

2017-05-06 17:03:19 776

原创 python列表

1、列表是一种可修改的集合类型，其元素可以是数字、string等基本类型，也可以是列表、元组、字典等集合对象，甚至可以是自定义的类型。其定义方式如下：>>> nums = [1,2,3,4] >>> type(nums) >>> print nums [1, 2, 3, 4] >>> strs = ["hello","world"] >>> print strs

2017-05-05 22:26:32 444

原创 python处理输入和输出

1.从命令行获取信息>>> num = input();5>>> num5>>> num2 = input();5.0>>> num25.0>>> str1 = input();heresTraceback (most recent call last): File "<py

2017-05-05 17:11:08 784

原创 hive简介与安装

Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL ），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 QL ，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer

2017-05-04 22:58:00 585

原创 centOS6.6下mysql连接报错问题

进入mysql的客户端，出现过两种连接报错：ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (111)和error: 'Access denied for user 'root'@'localhost' (using password: YE

2017-05-04 19:34:07 589

原创 HBase Java API 使用示例

在使用HBase Java API 之前，大家首先要了解HBase Java API类，可参考博客：http://www.cnblogs.com/ggjucheng/p/3380267.html几个相关类与HBase数据模型之间的对应关系java类HBase数据模型HBaseAdmin数据库（DataBase)

2017-05-02 19:54:12 1529