- 博客(8)
- 资源 (46)
- 收藏
- 关注
原创 Java -- 对List集合进行分页
通过使用hdfs api将文件系统根目录下的文件列表给列出来了,demo 如下输出json如下:[ { "path": "/20150129101639203.jpg", "replication": 2, "len": 31513, "owner": "root", "group": "supergroup", &quo
2018-06-29 16:23:38 16240 8
原创 Java HDFS API 追加文件写入内容异常问题的解决
最近在完善一个Java HDFS 的Api功能类,其功能列表如下(主要利用文件系统进行文件或目录的各种操作):上述功能有:1、获取当前HDFS系统的状态,如容量多少,使用了多少,剩余多少(getStatus())2、打开一个文件,并返回打开后的FS数据的输出流,便于向文件里编写内容(open(destPath))3、上传本地(local或remote)文件至HDFS文件系统(upLoadFile(...
2018-06-28 18:09:22 11851 4
原创 Hadoop 3.0 开启回收站(Trash)功能
上一篇,我们利用三台虚拟机配置了Hadoop 3.0集群,配置的过程步骤很"繁琐",但是不难,由于后续我要针对Hadoop的文件系统FileSystem(Java API)整合一个工具,该工具涉及到获取文件系统指定目录下的文件状态、创建dir、删除dir、文件或目录重命名、文件移动、copy、还会涉及到回收站的功能,比如:清空回收站、恢复回收站里面的某个文件等...etc,因此,本篇有...
2018-06-27 11:08:47 9013
原创 CentOS 6.5 + Hadoop 3.1.0 集群环境搭建+配置+测试
网上的一些配置文章我真是无力吐槽,太杂了,也不是看不懂,就是感觉从头捋下来,累个半死,其实搭建的过程不是太难,只是对于初次搭建的同学们来说,简直就是噩梦,又是什么免密登录,又是什么设置主机名,又是什么集群添加几个slave节点的,还有什么配置core-site.xml,hdfs-site.xml的.etc,最后还要什么格式化namenode的,最最最后才是启动我们的hadoop环境,...
2018-06-22 16:11:26 9087
原创 Protobuf二进制文件基于Http协议传输的应用实例 ☞ Python与Java之间无关语言的数据传输
在前两篇中,博主介绍了Google Protocol Buffer【一种数据交互格式】在Python和Java中各自的应用实例,重点就是掌握和理解如何构造protobuff的协议文件proto,文件中的数据组织结构是以messgae开头的,message消息体里面又可以嵌套message,总之,初次接触有点生疏不知所措,但是多写写多测测,还是很容易搞定这种proto文件格式的,搞定后...
2018-06-14 13:09:22 10051
原创 Spring-Boot -- Google Protocol Buffer的应用
上一篇: Google Protocol Buffer -- Windows下Python的应用 在上一篇博文中我罗略了一些关于ProtoBuff的资料,以及其在Python下的应用,因为protobuff协议是跨语言平台的,所以本篇基于Java语言下的应用和Python的如出一辙,就不再讲如何安装protobuff和编写proto文件了,本篇从另一个角度解答为什么使用prot...
2018-06-13 18:09:13 8775 4
原创 Google Protocol Buffer -- Windows下Python的应用
一、参考资料跨语言通信方案的比较—Thrift、Protobuf和AvroGoogle Protobuf 3版本介绍Google Protocol Buffer 简单介绍【python+protobuf】在python中使用protocol bufferProtobuf3语言指南Protobuf协议的Java应用例子二、Probuff...
2018-06-13 16:19:00 8343
php在线词霸简单案列
2017-05-09
C# XML操作类库(加强版)
2016-09-27
Delphi7 XML操作类库
2016-09-26
C# XML操作类库
2016-09-23
Delphi7 ado 连接远程oracle11g
2016-07-29
Delphi XML指定位置插入节点
2016-05-06
PHP信息管理系统毕业作业
2012-12-05
图片的读取与存储(二进制形式)
2011-11-05
C#+Acess数据库完整实例
2011-05-18
文件流实现QQ登陆框效果
2011-04-11
电影知识图谱智能问答系统问题数据集+核心Core
2018-05-21
Hadoop权威指南(第3版)+高清晰
2018-04-02
中文分词器工具包下载(配置+Jar包)
2018-02-06
Spring文件的上传和下载
2018-01-12
Java Web(插件、用户、文件后台管理系统)
2017-11-13
Java Oracle11g连接驱动jar包
2017-10-17
Spring AOP编程
2017-10-10
AOP编程的两个相关的Jar包
2017-10-10
FastDFS相应的源码包以及安装教程(Linux)
2017-09-18
SSM框架整合详细word文档
2017-09-01
Delphi天气助手
2017-06-19
jpgraph类库三种统计图
2017-06-16
DelphiDCM医疗图片转JPG
2017-05-31
php+mysql在线字典
2017-05-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人