Hadoop集群中引入新DataNode节点

例如新增的节点ip为192.168.1.xxx 在所有nn和dn节点上增加192.168.1.xxx datanode-xxx的hosts 在xxx上新建用户 useradd hadoop -s /bin/bash -m 并将其他dn上的.ssh中的所有文件拷贝到xxx上的/home/hadoop/.ssh路径下 安装jdk apt-get install sun-ja...
阅读(4040) 评论(1)

博客搬家了!

各位兄弟姐妹们,我自己新建了一个博客。http://www.anyoneking.com。 以后更新的一些文章都会提交到新的博客上。希望大家多多光临。 csdn的博客也会持续更新。谢谢!...
阅读(932) 评论(1)

hadoop namenode 数据恢复

在一次hadoop的重启过程中,重启失效,只能杀掉hadoop的namenode进程。 再重启的时候,出现如下问题: 2012-05-18 15:17:35,313 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.NullPointerException at org.apache.hadoop.hdfs...
阅读(1926) 评论(0)

hadoop+hive多用户访问支持

在我们hadoop+hive的使用场景中,一般都是将hive部署在hadoop用户下。而如果多人需要访问的时候,只能通过hive启动server的方式来处理。 而不能通过客户端的方式来处理。 如果将hive程序部署到非hadoop用户下,会出现如下问题: /home/songwei/hive-0.7.0-bin/bin/hive-config.sh: line 21: export: `=/...
阅读(2341) 评论(0)

hive external table partition 关联HDFS数据

EXTERNAL 外部表 在建表的时候制定一个指向实际数据的路径(LOCATION) hive创建内部表时,会将数据移动到数据仓库指向的路径;           创建外部表时,仅记录数据所在的路径,不对数据的位置做任何改变, 在删除表的时候:     内部表的元数据和数据会被一起删除,     而外部表只删除元数据,不删除数据。 HDFS中已经导入了城市日期数据文件。 /u...
阅读(2151) 评论(0)

Hadoop+hive安装

以下IP为1.1.1.1请替换为自己机器的ip。所有ip的配置尽量使用域名。 配置/etc/hosts来使用。 下载hadoop安装包,解压缩 进入conf目录: 修改conf/core-site.xml             hadoop.tmp.dir              /home/songwei/hadoop/tmp                 f...
阅读(1891) 评论(0)

八皇后算法-python

#encoding=utf8 ''' 八皇后问题:每一行,每一列,每一个斜线列只能有一个皇后。 ''' size = 8 queuePosition = {} allCount = 0 def generateQueuePosition(n): global allCount if n >= size : return False yList = getFreeGrid(n)#获取当前皇后可以放入的y轴坐标列表 for y ...
阅读(1662) 评论(0)

使用二叉树排序

#encoding=utf8 ''' B+树中的节点。其中value为当前节点值。 lNode为左孩子节点,rNode为右孩子节点,count为重复数量 ''' class TNode(object): def __init__(self,value,lnode=None,rnode=None,count=1): self.value = value self.lNode = lnode self.rNode = rn...
阅读(1044) 评论(0)

项目管理修炼之道-----1-3章读书笔记

一、            启动项目必须要多做一点组织和规划的工作,才能为项目的成功夺保留一份希望。1.      定义项目和项目经理1.1项目一个独特的任务或是系统化的流程,其目的是创建新的产品或服务,产品和服务交付完成标志着项目的结束。项目都有风险,并且受制于有限的资源。项目的核心是什么?是产品。1.2产品项目产生的一系列可交付物。1.3项目经理负责向团队清晰说明完成的含义,并带领团队完成项目的人。完成是指产品符合组织对这个产品的要...
阅读(6311) 评论(17)

直接排序算法python实现

一直对算法不是很上心,今天跟同事聊天,了解到算法很吃香呀!刚开始学习python,就一个一个的算法来吧!希望有时间能坚持下去!大家别拍砖!我只是留个笔记在这里。直接排序法直接选择排序法的算法是这样的,首先选出前n个元素中的最小(大)者,如果这个最小(大)者不是第1个元素,则与第1个元素交换,然后以同样的方法对付后 n-1个元素(分治),直到处理的元素只剩一个,即得到有序序列。它和冒泡排序法很类似,不同的是冒泡排序法进行了更多...
阅读(1157) 评论(3)

django in action

h1. 安装 tar xzvf Django-*.tar.gz cd Django-/* sudo python setup.py install 完成后,利用如下代码来查看安装版本。 {code} python import django django.VERSION {code} h1. 框架介绍 django提供了一套快速使用python开发web项目的技术框架。该框架是MVC模式。Model层是数据库层,负责对底层数据库的CRUD,支...
阅读(2537) 评论(1)

【每天算法4】编写一个截取字符串的函数,输入为一个字符串和字节数,输出为按字节截取的字符串。

题目:编写一个截取字符串的函数,输入为一个字符串和字节数,输出为按字节截取的字符串。   但是要保证汉字不被截半个,如“我ABC”4,应该截为“我AB”,输入“我ABC汉DEF”,6,应该输出为“我ABC”而不是“我ABC+汉的半个”。  package com.sw.suanfa.first.ten;/** * 编写一个截取字符串的函数,输入为一个字符串和字节数,输出为按字节...
阅读(3756) 评论(6)

【每天算法3】:用java语言实现,二维Vector的排序组合

题目:有一个二维Vector,每个元都是字符串(或者其他对象),如下面这个三行,每行元素不固定的二维Vector  V。                      A、B、C、D                      H、I、J、K、M                      X、Y、Z      求出满足以下条件的所有Vector D(一定是所有可能的情况):...
阅读(2650) 评论(0)

【每天算法2】:用java语言实现,一个组数:122345这6个数,打印出它所有可能的组合;要求4不能在第3位,3和5不能相连。

一个组数:122345这6个数,打印出它所有可能的组合;要求4不能在第3位,3和5不能相连。我在实现这个算法的时候,按照len不固定的方式,利用递归方式进行处理。感觉我的算法复杂度还是挺高的。过程中,不断的创建新的数组列别。如果你有更好的算法,请发上来,可以好好学习下。  package com.sw.suanfa.first.ten;import java.uti...
阅读(3350) 评论(2)

【每天算法1】:用java 语言实现,输入一个数,就相应地输出的几维数组

想要换工作了,但是感觉自己还没有准备好,毕竟笔试面试还是需要多积累经验的。多做做题总没有坏处。希望自己能坚持每天一个算法。题目也不一定难,主要是希望自己能对各个方面都有所了解,为了以后找个好的工作奠定些小小的基础。题目都是从baidu上随便找的,找到哪个算哪个,尽量自己去完成,如果是自己没有完成的,而是看别人的解答,我会标注出来的。毕竟是别人的劳动所得。废话不多说了,希望自己坚持吧。 ...
阅读(2174) 评论(3)

遍历一次字符串,选择出在该字符串中出现次数最多的字符及其出现次数(Java)

上班的时候,听一个同事说起了百度的一个面试题。“遍历一次字符串,选择出在该字符串中出现次数最多的字符及其出现次数”比如说当前的字符串为"abc2d2e2fg2e1111bc11yh22fd2a2ai222eur张灯结彩",则我应得到的是字符2,出现次数11。特定需求,只通过一次遍历来获取。也就是说,只能循环字符串一次,大概看了一下,就开始入手了。于是写下了下面的代码: public...
阅读(5926) 评论(24)

Spring Bean Scope 有状态的Bean 无状态的Bean

 在Spring的Bean配置中,存在这样两种情况:  当然,scope的值不止这两种,还包括了request,session 等。但用的最多的还是singleton单态,prototype多态。singleton表示该bean全局只有一个实例,Spring中bean的scope默认也是singleton.prototype表示该bean在每次被注入的时候,都要重新创...
阅读(9157) 评论(8)

HttpURLConnection简单用法

HttpURLConnection为javaAPI提供的一种Rest访问的方式。其支持对Post,Delete,Get,Put等方式的访问。以下为对于HttpURLConnection对Post等方式访问的一段代码。package com.sw.study.urlConnection;import java.io.BufferedReader;import java.io.In...
阅读(6715) 评论(5)

Ibaits返回结果集【转载】

object别名映射->实体类:resultClass     select      ID as id,      TYPE as type,      DESCR as descr    from APP_LOG    where ID = #id# List list = sqlMapper.queryForList("...
阅读(1204) 评论(0)

HMTL中文件标签上传文件错误的问题(input type=file)

在普通的web项目中,经常会有文件上传功能,一般情况下都用的是 标签,虽然比较丑,但是安全性不错。有的公司也会自己开发Applet来实现文件处理等。方法多的是,挑一种最简单的吧。 struts2+spring+ibatis的工程。在工程中引入后。显示的时候,为一个输入框,一个浏览按钮。在IE中,该输入框是允许输入字符的,如果输入字符,不通过其浏览按钮来选择文件,则在提交表单的时候,...
阅读(2124) 评论(0)
349条 共18页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:671415次
    • 积分:7485
    • 等级:
    • 排名:第2863名
    • 原创:89篇
    • 转载:260篇
    • 译文:0篇
    • 评论:167条
    最新评论
    工具书下载