关闭

hive

1.查询表在hdfs中存储路径 show create table table_name...
阅读(16) 评论(0)

JAVA IO (长期更新)

1.OutputStream 类1.1 void write(int b) 方法 本来应该是接受一个无符号的1个字节的整数(0-255). 接受 Int型数据,但是java内部其实会将b 转换成0-255之间的数字,原因是Stream是以字节为读取单位的. 具体规则如下: b=b& 0x000000FF 然后将结果看做是无符号1字节整型处理。Java内部用补码来表示正数和负数。...
阅读(55) 评论(0)

hadoop 一些属性值含义

1.mapreduce.input.linerecordreader.line.maxlength . 当使用TextInputFormat作为inputformat时,会遇文件中一些行过长,这样,我们可以通过这个mapreduce.input.linerecordreader.line.maxlength 来跳过这些异常行。 2....
阅读(89) 评论(0)

Hadoop 2.6.0 FileSplit和InputSplit和FileInputFormat

InputSplit 有三个方法1.getLengh(),为了获取字节长度2.getLocations(),获取地址,在哪个节点3.该方法返回空,返回类型是可支持在内存中存储,或者磁盘存储。可以看出未来mapreduce有希望支持内存存储数据。@Evolvingpublic SplitLocationInfo[] getLocationInfo() throws IOException { ret...
阅读(67) 评论(0)

hadoop配置文件加载顺序

用了一段时间的hadoop,现在回来看看源码发现别有一番味道,温故而知新,还真是这样的  在使用hadoop之前我们需要配置一些文件,hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml。那么这些文件在什么时候被hadoop使用?  一般的在启动hadoop的时候使用最多就是start-all.sh,那么这个脚本都干了些什么?start-...
阅读(83) 评论(0)

Unicode scalar value

Unicode scalar value...
阅读(83) 评论(0)

hadoop 练习(1)

1 在hdfs上进行文件复制 Configuration conf=new Configuration(); conf.set("fs.hdfs.impl",org.apache.hadoop.hdfs.DistributedFileSystem.class.getName()); FileSystem fs=FileSystem.get(URI.create("hd...
阅读(133) 评论(0)

文章标题

http://blog.csdn.NET/mercedesqq/article/details/16885115# 在Hadoop上运行MapReduce任务的标准做法是把代码打包到jar里面,上传到服务器,然后用命令行启动。如果你是从一个Java应用中想要启动一个MapReduce,那么这个方法真是又土又麻烦。其实YARN是可以通过Java程序向hadoop集群提交MapReduce任务的。与普...
阅读(50) 评论(0)

hadoop 问题汇总

1.在运行hadoop时遇到问题,首先要查询位于 %hadoop安装目录%\logs\userlogs\中的日志信息。控制台输出的日志的内容并不全面。 2.链接hdfs,访问hdfs上面的文件时,出现链接失败。Connection refused。这时需要查看core-site.xml中的fs.defaultFS要改成hdfs://localhost:8020。8020端口是hadoop的name...
阅读(126) 评论(0)

JAVA,环境变量设置

在命令行执行javac,java命令的时候,需要设置path环境变量,将%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin放在path环境变量中,这样才能在命令行执行java和javac等命令. 其中JAVA_HOME表示JDK的安装目录,我的安装目录为E:\Java\JDK,所以添加新环境变量JAVA_HOME,其值为E:\Java\JDK. 然后添加环境变量CLASSPA...
阅读(89) 评论(0)

知人知面需知心——论人工智能技术在推荐系统中的应用

作者:洪亮劼,Etsy数据科学主管,前雅虎研究院高级经理。长期从事推荐系统、机器学习和人工智能的研究工作,在国际顶级会议上发表论文20余篇,长期担任多个国际著名会议及期刊的评审委员会成员和审稿人。 本文为《程序员》原创文章,未经允许不得转载,更多精彩文章请订阅2016年《程序员》 在电子商务、个性化阅读、社交网络(媒体)以及共享经济高速发展的今天,发现用户的需求、了解用户的行为并为用户筛选出最...
阅读(136) 评论(0)

Java URL 类,URI类

1.若引用的资源和本身在同一路径下(既在同一目录下) 在example.html中引用tupian.gif 相对路径: 绝对路径:<img \quad sr...
阅读(127) 评论(0)

HttpClient 4.5.3 模拟登陆CSDN

本文使用httpcomponents-client-4.5.3和httpcomponents-core-4.4.6进行CSDN模拟登陆。//step 1:get some necessary information about login HttpClientBuilder httpClientBuilder2=HttpClients.custom(); httpCl...
阅读(208) 评论(0)

Http隧道(tunnel)技术与Proxy

一直都没有深入研究过 Http Proxy,最近在使用libcurl的过程中,发现在有Proxy的情况下,使用CURL请求一个https的资源,会有返回2个response。经过一番抓包和研究之后,发现另有原因。根据 RFC2817 的讲解发现,在使用Proxy请求https的时候,首先会使用HTTP的CONNECT Method向Proxy发起请求。另外,更具 RFC2816 中关于CONNECT...
阅读(165) 评论(0)

httpclient -- HttpClientBuilder(长期更新。。。)

1.httpclientBuilder 域 1.1 PublicSuffixMatcher 用于检查给出的域名是否和public suffix list中的后缀匹配。 1.2 HttpRequestExecutor 1.3 HttpClientConnectionManager http连接管理 1.4 ConnectionReuseStrategy 连接重用策略 1.5 Con...
阅读(1109) 评论(0)
72条 共5页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:27493次
    • 积分:911
    • 等级:
    • 排名:千里之外
    • 原创:62篇
    • 转载:10篇
    • 译文:0篇
    • 评论:2条
    最新评论