- 博客(15)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 刷博客浏览量
看了一篇博客后，感觉很好玩，那直接运行代码了，因为这个代码是python比较老的版本了，所以直接复制运行有点错误，只要稍加修改即可运行# -*- coding: utf-8 -*-"""Created on Sat Sep 30 10:57:20 2017@author: hechengjian"""# -*- coding:utf-8 -*- import urllib
2017-09-30 11:33:21
15572
5
转载 python语法详解
【文件首部/编码声明】 #!/usr/bin/env python # -*- coding:utf-8 -*- # 声明脚本使用 utf-8 编码是为了在脚本中含有中文时也能被正确解释运行【注释】 # here we can put a comment, 在井号后添加注释。【缩进/大小写】 必须使用 4 个空格进行缩进。pytho
2017-09-30 10:18:38
3137
转载 HIVE中get_json_object与json_tuple使用
hive中提供了两种针对json数据格式解析的函数，即get_json_object（…）与json_tuple(…)，理论不多说，直接上效果示意图：假设存在如下json数据对象，若使用hive环境可这么设置：set hivevar:msg={"message":"2015/12/08 09:14:4", "client": "10.108.24.253", "server":
2017-09-29 15:44:11
7391
转载 Hadoop Streaming
Hadoop Streaming 是Hadoop提供的一个编程工具，Streamining框架允许任何可执行文件或者脚本文件作为Mapper和Reducer在Hadoop MapReduce中使用，方便已有程序向Hadoop平台移植。因此可以说对于hadoop的扩展性意义重大。Streamining的原理：mapper和reducer会从标准输入中读取数据，一行一行处理后发送给标准输出，S
2017-09-29 15:34:42
799
转载 python相关函数
python strip() 函数和 split() 函数的详解及实例一直以来都分不清楚strip和split的功能，实际上strip是删除的意思；而split则是分割的意思。因此也表示了这两个功能是完全不一样的，strip可以删除字符串的某些字符，而split则是根据规定的字符将字符串进行分割。下面就详细说一下这两个功能，1 Python strip()函数 介绍函数原型
2017-09-27 15:40:48
1309
1
转载 hadoop 代码中获取文件名
在hadoop的MR相关代码中，经常需要获得mapper输入的文件名，从而针对不同的文件进行不同的操作。下面简单地介绍一下如果在MR代码中获取文件名1.在streaming中获取文件名实际中经常用python开发streaming程序，在python代码中可以用如下方式获得文件名：import osfilepath = os.environ["mapreduce_map_i
2017-09-27 14:21:58
1279
转载 Python 字符串操作（string替换、删除、截取、复制、连接、比较、查找、包含、大小写转换、分割等）
去空格及特殊符号s.strip().lstrip().rstrip(',')复制字符串#strcpy(sStr1,sStr2)sStr1 = 'strcpy'sStr2 = sStr1sStr1 = 'strcpy2'print sStr2连接字符串#strcat(sStr1,sStr2)sStr1 = 'strcat'sStr2 = '
2017-09-27 13:42:25
192
转载 scala与java之间的关系
FROM： http://www.cnblogs.com/vikings-blog/p/3942417.html scala与java之间的关系，我认为可以用一句话来开头：scala来源于java，但又高于java。 scala的设计者Martin Odersky就是一个JAVA控，这位牛人设计了javac和编写了jdk中的通用代码。可以说java语言本身就是Martin Ode
2017-09-26 16:05:30
11416
转载 Hadoop Streaming框架使用
Streaming简介 Streaming框架允许任何程序语言实现的程序在Hadoop MapReduce中使用，方便已有程序向Hadoop平台移植。因此可以说对于hadoop的扩展性意义重大，今天简单说一下。Streaming的原理是用Java实现一个包装用户程序的MapReduce程序，该程序负责调用MapReduce Java接口获取key/value对输入，创建一个
2017-09-26 13:54:43
340
转载 linux shell编程多线程和wait命令学习
http://blog.csdn.net/shuanghujushi/article/details/38186303最近在使用shell做一些部署工作，在使用过程中，效率一直不高。想提高效率，经过分析发现，并不是所有操作都是需要串行的，一些操作是可以进行并行操作的。经过学习，shell里面也是可以进行多线程编程的，而且十分方便，同时，wait命令可以进行shell的多线程同步控制。下面是sh
2017-09-26 12:17:38
242
转载 shell调试
[以下字段转自：http://linux.chinaitlab.com/SHELL/727128_4.html]"-x"选项可用来跟踪脚本的执行，是调试shell脚本的强有力工具。“-x”选项使shell在执行脚本的过程中把它实际执行的每一个命令行显示出来，并且在行首显示一个"+"号。 "+"号后面显示的是经过了变量替换之后的命令行的内容，有助于分析实际执行的是什么命令。 “-x”选项使用起来
2017-09-26 11:36:52
237
转载 org.apache.hadoop.hive.serde2.SerDeException: Row is not a valid JSON Object
重要的是每行必须是一个完整的JSON，一个JSON不能跨越多行，也就是说，serde不会对多行的Json有效。 因为这是由Hadoop处理文件的工作方式决定，文件必须是可拆分的，例如，Hadoop将在行尾分割文本文件。// this will work{ "key" : 10 }// this will not work{ "key" : 10 }2. 下载Jar
2017-09-15 17:36:53
2736
转载 优化hive
下面给你建议：使用过程中该如何优化hive:一、 控制hive任务中的map数: 1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；2.
2017-09-14 17:06:45
192
转载 scala相关知识
Scala中的下划线到底有多少种应用场景？1、作为“通配符”，类似Java中的*。如import scala.math._2、:_*作为一个整体，告诉编译器你希望将某个参数当作参数序列处理！例如val s = sum(1 to 5:_*)就是将1 to 5当作参数序列处理。3、指代一个集合中的每个元素。例如我们要在一个Array a中筛出偶数，并乘以2，可以用以下办法：a.
2017-09-08 15:45:56
297
转载 JAVA之BigInteger
用Java来处理高精度问题，相信对很多ACMer来说都是一件很happy的事，简单易懂。用Java刷了一些题，感觉Java还不错，在处理高精度和进制转换中，调用库函数的来处理。下面是写的一些Java中一些基本的函数的及其……头文件：import java.io.*;import java.util.*;import java.math.*;读入： Scanner c
2017-09-01 10:20:22
260
机器学习书籍大全
2018-08-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人