- 博客(120)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 shell大文件分割成小文件
上周做mysql的数据同步遇到的问题记录如下: 将hive中的一张大表数据同步到mysql,由于公司对mysql的binlog的限制,因此如果一次全量同步的话(也就是一次load data)会触发mysql的binlog过大错误,因此,就需要将从hive中捞出的数据(在一个打文件中)文件分割成小文件进行load; 使用shell的split解决这个问题:split...
2016-06-20 11:32:22
732
原创 hive分区表添加新字段后显示为NULL的问题
昨天在组内的一个hive分区表中添加了一个字段,然后LOAD数据的时候出现NULL的情况,但是在hdfs上明明不是NULL,经过反复排查,最后在http://blog.csdn.net/xiao_jun_0820/article/details/45560591找到解答,但是我按上面的步骤操作的时候遇到找不到SDS,所以用了另外一种方法.由于我的分区表是外部表,所以我先删除了分区,然后在添...
2016-06-03 15:57:21
453
原创 好久不见
HI，从14年实习到现在，就没怎么写过博客，今天突然想起自己以前还在CSDN有帐号来着，就逛进来了，好久不见~从实习到正式参加工作，差不多两年的时间了，确实是很忙的一段时间，也没有好好整理自己学的东西，嘿，其实主要是业务上的东西啦。好吧，我努力回顾一下吧。实习的时候，主要做的是Java，那刚开始嘛，大家都懂的，什么都不会嘛~好在公司有一个不错的导师带，这段时间 主要是做Storm，Mong
2016-05-03 13:25:28
330
原创 我迄今为止写的最长的SQL
今天看我14年实习的时候，当时我的导师在博客中写到了一段差不多50多行的sql，说是他写的最长的sql，想想工作的这一年，其实我也写了不少sql，因为自身是做数据开发方面的工作，写sql是免不了的，哈哈~ 今天刚好是五一假后上班的第一天，也不想干什么事，就写写博客吧，好久没有记录啦。好，言归正传，就说sql吧， 去年我们数据组要把之前的从mysql中的提取基础数据的工作给...
2016-05-03 11:38:04
707
原创 ThreadLocal浅析
一 概述 ThreadLocal并非是一个线程的本地实现版本，并不是一个Thread，而是一个ThreadLoaclVariable(线程局部变量)。TreadLocal就是为每一个使用该变量的线程都提供一个变量值的副本。是Java中一种较为特殊的线程绑定机制，是每一个线程都可以独立的改变自己的副本，而不会和其他线程的副本冲突。简而言之，多个线程不是通过共享变量，而是各自拥有一个变量。 从线程的角
2015-10-12 17:46:30
426
原创 mysql修改密码
用SET PASSWORD命令 mysql -u root mysql> SET PASSWORD FOR 'root'@'localhost' = PASSWORD('newpass');
2015-10-10 14:18:59
350
原创 网站典型故障案例
写日志也会引发故障：故障现象：应用服务器集群发布后不久就出现多台服务器相继报警，硬盘可用低于警戒值，并且很快有服务器宕机。登录到线上机器，发现log文件夹里的文件迅速增加，不断消耗磁盘空间。原因分析：该应用的开发人员将log输出的level全局配置为Debug。这样一次简单的web请求就会产生大量的log文件输出，在高并发的用户请求下，很快就消耗完不多的磁盘空间。经验教训：
2015-10-06 19:37:10
657
原创 Linux Shell
x=1y=2z=$x+$yecho $z 1+2调用变量 $变量echo 输出 用户自定义环境变量 export 变量名=变量值set 查看所有变量 env 查看环境变量unset 变量名 删除变量 PATH="$PATH":/root/sh增加path变量的直 临时实效 要想永久生效 ：写入对应的文件中PS1 e...
2015-06-22 15:24:00
103
原创 mysql存储过程
存储过程预编译集合 一个单元处理CREATE PROCEDURE sp_name routne_body过程体由合法的SQL语句构成过程体可以使任意SQL语句创建没有参数的存储过程create procedure sp1() select version()调用：call sp1();创建带有参数的存储过程create procedure remove...
2015-06-22 15:18:49
83
原创 highstock使用案例（异步请求，懒加载）
资源：点击打开链接highstock 中文官网。jsp中导入：">jsp页面加入 <input type="rad
2015-04-15 17:34:44
2373
highstock使用案例（异步请求，懒加载）
资源：点击打开链接highstock 中文官网。jsp中导入：<script src="<c:url value="/resources/js/highstock.js"></c:url>"></script>jsp页面加入<div id="historyChart" style="min-w
2015-04-15 17:34:00
200
原创 mongodb 的一些常用命令。
启动mongomongodb所在的目录 D:\MongoDB\data是mongo数据的备份地点。D:\MongoDB\Server\3.0\bin>mongod.exe --dbpath D:\MongoDB\datamongo聚合:aggregate()聚合函数，$match匹配 $regex正则匹配 $group分组 $sum 总和订单数db.or
2015-04-15 14:03:09
340
mongodb 的一些常用命令。
启动mongomongodb所在的目录D:\MongoDB\data是mongo数据的备份地点。D:\MongoDB\Server\3.0\bin>mongod.exe --dbpath D:\MongoDB\data创建数据库：MongoDB没有创建数据库的命令，但有类似的命令。如：如果你想创建一个“myTest”的数据库，先运行use myTest命令，之后就做一些操作（...
2015-04-15 14:03:00
66
原创 java 读取excel，写入excel(只限于xlsx格式)
首先建立maven 工程，pom.xml的内容如下：<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://mave
2015-04-15 13:45:56
3955
1
java 读取excel，写入excel(只限于xlsx格式)
首先建立maven 工程，pom.xml的内容如下： <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 htt...
2015-04-15 13:45:00
181
原创 基于maven的mybatis+springmvc环境搭建以及集成bootstraps
一.maven是目前项目中比较流行的版本控制方法，整理一下maven的配置基本的maven项目的创建过程以及创建中遇到的问题：1. 新建maven项目(选择Maven Project)2. 点击下一步3. 在Filter中输入webapp（选择maven-archetype-webapp，然后Next）4. Group Id--主项目名5. 此时的工程项目结构并不
2014-11-25 19:30:36
573
基于maven的mybatis+springmvc环境搭建以及集成bootstraps
一.maven是目前项目中比较流行的版本控制方法，整理一下maven的配置基本的maven项目的创建过程以及创建中遇到的问题：1. 新建maven项目(选择Maven Project)2. 点击下一步3. 在Filter中输入webapp（选择maven-archetype-webapp，然后Next）4. Group Id--主项目名5. 此时的工程项目结构并不完整，需将将其编程web项目；本地...
2014-11-25 19:30:00
98
原创 数组中出现的逆序对
题目描述：在数组中的两个数字，如果前面一个数字大于后面的数字，则这两个数字组成一个逆序对。输入一个数组，求出这个数组中的逆序对的总数。输入：每个测试案例包括两行：第一行包含一个整数n，表示数组中的元素个数。其中1 第二行包含n个整数，每个数组均为int类型。输出：对应每个测试案例，输出一个整数，表示数组中的逆序对的总数。样例输入：7 5 6 4样例输出：
2014-09-13 23:48:38
363
数组中出现的逆序对
题目描述：在数组中的两个数字，如果前面一个数字大于后面的数字，则这两个数字组成一个逆序对。输入一个数组，求出这个数组中的逆序对的总数。输入：每个测试案例包括两行：第一行包含一个整数n，表示数组中的元素个数。其中1 <= n <= 10^5。第二行包含n个整数，每个数组均为int类型。输出：对应每个测试案例，输出一个整数，表示数组中的...
2014-09-13 23:48:00
96
原创 第一次只出现一次的字符
题目：在一个字符串中找到第一个只出现一次的字符。如输入abaccdeff，则输出b。分析：这道题是2006年google的一道笔试题。看到这道题时，最直观的想法是从头开始扫描这个字符串中的每个字符。当访问到某字符时拿这个字符和后面的每个字符相比较，如果在后面没有发现重复的字符，则该字符就是只出现一次的字符。如果字符串有n个字符，每个字符可能与后面的O(n)个字符相比较，因此这种思路时间复杂
2014-09-10 22:23:06
386
第一次只出现一次的字符
#include<stdio.h>#include<stdlib.h>#include<string.h>char firstNotRepeatingChar(char* pString){ if(pString==NULL) return '\0'; const int tablesize = 256; unsigned in...
2014-09-10 22:23:00
63
原创 丑数
题目：我们把只包含因子2、3和5的数称作丑数（Ugly Number）。例如6、8都是丑数，但14不是，因为它包含因子7。习惯上我们把1当做是第一个丑数。求按从小到大的顺序的第1500个丑数。思路
2014-08-17 20:46:51
424
丑数
题目：我们把只包含因子2、3和5的数称作丑数（Ugly Number）。例如6、8都是丑数，但14不是，因为它包含因子7。习惯上我们把1当做是第一个丑数。求按从小到大的顺序的第1500个丑数。思路:我们可以创建一个数组，里面的数字是排好序的丑数。里面的每一个丑数是前面的丑数乘以2、3或者5得到的。这种思路的关键在于怎样确保数组里面的丑数是排好序的。我们假设数组中已经有若干个丑数，排...
2014-08-17 20:46:00
77
原创 数组中组成最小的数
题目：输入一个正整数数组，将它们连接起来排成一个数，输出能排出的所有数字中最小的一个。例如输入数组{32, 321}，则输出这两个能排成的最小数字32132。请给出解决问题的算法，并证明该算法。分析：这是09年6月份百度新鲜出炉的一道面试题，从这道题我们可以看出百度对应聘者在算法方面有很高的要求。这道题其实是希望我们能找到一个排序规则，根据这个规则排出来的数组能排成一个最小的数字。要确定
2014-08-16 22:27:07
1935
数组中组成最小的数
题目：输入一个正整数数组，将它们连接起来排成一个数，输出能排出的所有数字中最小的一个。例如输入数组{32, 321}，则输出这两个能排成的最小数字32132。请给出解决问题的算法，并证明该算法。分析：这是09年6月份百度新鲜出炉的一道面试题，从这道题我们可以看出百度对应聘者在算法方面有很高的要求。这道题其实是希望我们能找到一个排序规则，根据这个规则排出来的数组能排成一个最小的数字。要确定排...
2014-08-16 22:27:00
430
原创 连续子数组的最大和
题目：输入一个整形数组，数组里有正数也有负数。数组中连续的一个或多个整数组成一个子数组，每个子数组都有一个和。求所有子数组的和的最大值。要求时间复杂度为O(n)。例如输入的数组为1, -2, 3, 10, -4, 7, 2, -5，和最大的子数组为3, 10, -4, 7, 2，因此输出为该子数组的和18。分析：本题最初为2005年浙江大学计算机系的考研题的最后一道程序设计题，
2014-08-14 21:04:22
408
连续子数组的最大和
题目：输入一个整形数组，数组里有正数也有负数。数组中连续的一个或多个整数组成一个子数组，每个子数组都有一个和。求所有子数组的和的最大值。要求时间复杂度为O(n)。例如输入的数组为1, -2, 3, 10, -4, 7, 2, -5，和最大的子数组为3, 10, -4, 7, 2，因此输出为该子数组的和18。分析：本题最初为2005年浙江大学计算机系...
2014-08-14 21:04:00
58
原创 数组中数过一半的数字
#include#includevoid swap(int* data1,int* data2){ int temp=*data1; *data1=*data2; *data2=temp;}int partition(int data[],int length,int start,int end){ if(data==NULL||length=len
2014-08-13 20:55:03
482
数组中数过一半的数字
#include<stdio.h>#include<stdlib.h>void swap(int* data1,int* data2){ int temp=*data1; *data1=*data2; *data2=temp;}int partition(int data[],int length,int start,int end)...
2014-08-13 20:55:00
83
字符串的组合
转自:http://blog.csdn.net/ns_code/article/details/26405471 剑指offer上的拓展题目，输入一个字符串，输出该字符串的字符的所有组合，比如输入字符串：abc，输出a、b、c、ab、ac、bc、abc。 可以考虑求长度为n的字符串中m个字符的组合，设为C(n,m)。原问题的解即为C(n, 1), C(n, 2),...C(n, n...
2014-08-12 21:11:00
74
原创 二叉搜素树与双向链表
题目: 输入一颗二叉搜素树,将该树转换成一个排序的双向链表.要求不能创建新的结点,只能 调整树中结点指针的指向.思想: 10 / \ 6 4---------------->4==6==8==10==12==14==16 /\ /\ 4 8 12 16 我们可以中序遍历整棵树。按照这个方式遍历树，比较小的结点先访问。 如果我们每访问一个
2014-08-11 21:33:56
365
二叉搜素树与双向链表
题目:输入一颗二叉搜素树,将该树转换成一个排序的双向链表.要求不能创建新的结点,只能调整树中结点指针的指向.思想: 10/ \6 4---------------->4==6==8==10==12==14==16/\ /\4 8 12 16我们可以中序遍历整棵树。按照这个方式遍历树，比较小的结点先访问。如果我们每访问一个结点，假设之前访问过的结点已...
2014-08-11 21:33:00
60
原创 字符串的排列
题目: 输入一个字符串,打印出该字符串中字符的所有排列思想: 把一个字符串看成是两部分组成:第一部分为他的第一个字符,第二部分为后面所有的字符 首先求所有可能出现在第一个位置的字符,即把第一个字符和后面所有的字符交换. 然后固定第一个字符,求后面所有字符的排列,仍把后面的所有字符分成两部分:后面字符 的第一个字符,以及这个字符后面的所有字符 最后把第一个字符逐一和后面的
2014-08-11 21:17:37
357
字符串的排列
题目:输入一个字符串,打印出该字符串中字符的所有排列思想:把一个字符串看成是两部分组成:第一部分为他的第一个字符,第二部分为后面所有的字符首先求所有可能出现在第一个位置的字符,即把第一个字符和后面所有的字符交换.然后固定第一个字符,求后面所有字符的排列,仍把后面的所有字符分成两部分:后面字符的第一个字符,以及这个字符后面的所有字符最后把第一个字符逐一和后面的字符交换...
2014-08-11 21:17:00
48
复杂链表的复制
题目：实现函数complextListNode* clone(ComplexListNoe* pHead),复制一个链表。在复制链表中，每一个节点除了有一个m_pNext指针指向向下一个节点外，还有一个指针m_pSibling指向链表中的任意节点或者NULL节点定义如下：struct ComplexListNode{ int m_nValue;...
2014-08-10 23:38:00
67
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人