![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
个人总结
春夏秋冬又一年
数据分析师
展开
-
不用Map高效更新数据对应关系
在处理数据的时候碰到一种情况: 1.两条数据之间必须保持对应关系 2. 尽量不使用map类型 比如:ArrayList douList 和 ArrayList strList之间必须保持对应关系,douList和strList来自同一条记录两个部分。但是我们不断的往douList中添加数据的时候要同时只保留最靠前的10条记录(假设是最大的10条记录),原创 2013-07-20 18:08:37 · 975 阅读 · 0 评论 -
pig eclipse插件
一 特性 支持Apache Pig Latin 0.11-0.14pig句法高亮为pig宏,define,UDF开启申明(F3)。自动完成(ctrl+space)define,关系,pig保留词,内建函数 切换comment 和comment/uncomment (ctrl+shift+c) 使用块查找引用(ctrl+shift+g) - 初步实现, 查找宏的使用(或者说引用)宏原创 2015-10-16 09:53:32 · 987 阅读 · 0 评论 -
Pig的一个小问题 (filter之后 没有数据)
写Pig的时候,如果需要对数据中某个字段进行 比较或者运算,尤其是使用Filter的时候。该字段最好是 bytearray类型,而不要用 int 或者 chararray类型。否则得不到数据--抽取话单文件中过程号为 attach的话单 统计set job.name 'lte_kpi_user_analysis_s1mme_attatch_15min';allData原创 2015-07-07 17:11:31 · 921 阅读 · 0 评论 -
shell中临时使用其他用户执行命令
问题来源于chinaunix博客论坛,感觉比较实用。整理过来了。我在root中执行一个脚本,但是其中的一些命令或脚本必须用oracle用户来执行。#!/bin/sh。。。。#----------oracle用户执行su - oracle /bin/cd /xxxx/xxx /bin/rm -rf *#----------下面的命令需要用roo原创 2015-07-24 09:49:46 · 8402 阅读 · 0 评论 -
linux 文件转码
有时候写的shell脚本中带有中文,但是传输到其他主机之后,中文全部变成乱码。需要借助以下命令进行转码:iconv -f GBK -t UTF-8 -c 源文件 -o 转换后文件名原创 2015-07-29 17:06:02 · 535 阅读 · 0 评论 -
Windows 上通过本地搭建 Jekyll环境
一 准备Ruby环境 1 我们首先需要安装Ruby,从网站下载Ruby 上下载Ruby最新版和相应的DevKit。我下载的是Ruby 2.1.4 (x64)和DevKit-mingw64-6 。注意:两者的安装目录,不得出现空格,比如Program Files这种目录是不能有的,建议是装在盘的根目录 2. 配置安装环境。环境变量中新增环境变量名 RUBY_HOME ,变量值为原创 2014-11-12 15:43:54 · 1211 阅读 · 0 评论 -
java文件不能删除原因
代码如下:原创 2014-10-09 14:54:34 · 1109 阅读 · 0 评论 -
eclipse下SVN使用
eclipse下SVN subclipse插件本文目的让未使用过版本控制器软件或者未使用过subversion软件的人员尽快上手。subversion的使用技巧很多,这里只总结了最小使用集,即主要的基本功能,能够用来应付日常工作。因此不涉及subversion服务器端的搭建和配置。为什么要使用版本控制当多人共同开发同一个软件时,会涉及源代码的共享以及带来的相关问转载 2014-07-24 10:26:54 · 813 阅读 · 0 评论 -
mysql用java程序插入中文变问号
问题描述: 我用程序读取 数据库中的某个表A中的记录的时候,得到的中文是正确的。当我把得到的记录进行处理之后,新建了表B,然后往表B中插入记录时一直无法插入,打印sql语句发现其中的中文部分全部都是问号。按照网友分享的方法,执行以下命令,得到的结果显示并不能解决问题。 先检查各个字符集: mysql> show variables like 'character%'原创 2013-09-17 15:24:20 · 2025 阅读 · 0 评论 -
MyEclipse下安装SVN 插件的亲测可用的办法
原文来自 http://www.oschina.net/question/158170_34997/虽然原文列举了四种方法,但是亲测成功的仅此一种。1、下载最新的SVN包:http://subclipse.tigris.org/servlets/ProjectDocumentList?folderID=22402、在你的磁盘上任意位置创建文件夹:“myplugins/svn”。转载 2013-09-30 11:27:20 · 771 阅读 · 0 评论 -
大数据技术概览----读《大数据管理:概念、技术与挑战》(孟小峰 慈祥著)
应导师要求研读一些论文。个人感觉这篇论文为我们面临的大数据一些关键技术做了比较全面权威的综述。我把其中一些关键地方做个笔记。 1.当前大数据带来的变革 图灵奖获得者、著名数据库专家Jim Gray博士观察并总结人类自古以来,在科学研究上,先后历经了实验、理论和计算3种范式.当数据量不断增长和累积到今天,传统的3种范式在科学研究,特别是一些新的研究领域已经无法很好地发原创 2013-09-11 21:08:23 · 3113 阅读 · 0 评论 -
java替换中英文
替换字符串中的全部英文字母用正则把英文替换掉String str="asdfa中asdfsa国sfd";str=str.replaceAll("[a-zA-Z]*","");如果还是替换数字:str=str.replaceAll("[a-zA-Z0-9]*","");替换中文str=str.replaceAll("[\u4e00-\u9fa5]*","");原创 2013-08-21 09:14:24 · 2146 阅读 · 0 评论 -
java BingInteger生成2进制String循环移位时长度自动缩减
最近在做文本处理,使用MD5 生成一段文字的MD5哈希长度为32位也即128位。 由于需要对这个MD5值进行循环移位,显然普通的 int 是不行的,所以使用 BigInteger。但是在使用BigInteger进行移位的过程,生成的0-1 序列长度 莫名其妙的减少。如图:部分代码如下:package LCS;import java.math.BigInteger原创 2013-07-27 15:20:44 · 1422 阅读 · 0 评论 -
eclipse maven pom.xml错误
错误提示为: Failure to transfer org.apache.maven.plugins:maven-compiler-plugin:pom:2.0.2 fromhttp://repo1.maven.org/maven2 was cached in the local repository, resolution will not be reattempted unti原创 2015-11-26 13:41:11 · 725 阅读 · 0 评论