xunming的专栏

自律给我自由

排序:
默认
按更新时间
按访问量

Hadoop生态圈之分布式环境搭建

1安装模式 单机模式 伪分布模式 完全分布式模式 2环境搭建 3添加新节点 4初步实战 5数据误删除恢复 回收站恢复 快照恢复 编辑日志恢复 6常见问题 1安装模式 hadoop有三种安装模式: 单机模式 Hadoop的默认模式,当首次解压Hadoop的源码包时,H...

2017-08-11 14:45:12

阅读数:1849

评论数:0

Vim、Shell及Linux命令的高效使用

Vim的使用 目标:把一个每行都是url的txt文件内容,转为一个java代码中使用的string[]数组 源Url telepathy.kakamobi.com ai.kakamobi.cn tpc.kakamobi.cn dspmnt.autohome.com.cn deal...

2018-01-11 14:15:53

阅读数:202

评论数:0

Hadoop生态圈之Spark

1、spark-shell 进入spark模式,scala 2、简单示例 //载入本地txt文件 var xmfile = sc.textFile("file://Users/liuxunming/Desktop/TODO.txt&...

2018-07-31 08:21:09

阅读数:72

评论数:0

开发常用工具

工欲善其事必先利其器,好的工具能使开发效率大大提高,达到事半功倍的效果,以下是本人开发过程中使用到的各种工具,整理如下: charles 1、注册码 Registered Name: https://zhile.io License Key: 48891cf209c6d32bf4 2、过...

2014-11-04 17:14:45

阅读数:2478

评论数:0

MySql的使用心得

复制20180506的所有记录到表中 Win7(64位)下安装教程 使用心得 1、删除多表数据 2、多次左连接 3、提升查询或更新效率 4、批量插入数据 5、千万级数据sql优化策略 6、Navicat查询超时的问题 查询字段中不包含*号的记录 select name from...

2017-09-25 18:56:17

阅读数:1254

评论数:0

Mac的使用技巧

所需材料: 1、macpro一台 2、Belkin USB-C LAN 转接头,建议从苹果官网购买,为什么需要买这个,因为mac电脑本身只有无线网卡模块,没有网线端口,所有需要自行购买转接头 3、网线一根 4、可以上网的环境 Mac有线网配置:首先要有以太网转接头,然后在网络偏好设置里,...

2018-06-27 14:03:39

阅读数:29

评论数:0

Java常用工具方法使用心得

获取文件夹下所有文件名 从字符串中提取数字 替换最后一个,仿replaceFirst方法 取两位小数 判断日期是否在某一段日期内 获取项目配置文件中的变量值 java依赖包一起打进去 txt文件最后一行文件内容覆写并追加 字符串中获取手机号 获取文件夹下所有文件名 Java-读...

2017-12-22 15:09:15

阅读数:273

评论数:0

Hadoop学习笔记之lzo文件格式

一、下载、安装、编译lzo 二、修改Hadoop配置 三、安装、编译hadoop-lzo-master 四、检测是否配置成功 1、hive方法 2、job日志方法 五、参考链接 LZO(LZO是Lempel-Ziv-Oberhumer的缩写)是一种高压缩比和解压速度极快的编码,它...

2018-06-28 17:18:47

阅读数:92

评论数:0

MyBatis的初步使用

1、批量更新 <update id="batchUpdate" parameterType="java.util.List&qu...

2018-05-30 15:05:33

阅读数:73

评论数:0

Hadoop生态圈之Sqoop

1、sqoop是什么 Sqoop是一个用来将Hive和Mysql中的数据相互转移的工具,也可以将Hdfs的数据导入到Mysql中。 官方地址:http://sqoop.apache.org/ 2、安装配置 2.1 安装sqoop 安装包下载地址, http://mirro...

2017-11-09 11:03:20

阅读数:512

评论数:0

Android基于Bmob第三方后台开发的App——足说

————重大更新,App更新换代,重新归来,改名和改Icon————!!!新版2.1已更新,更新日期:2017-07-27 流程分析 1想法和需求 2设计 3编码 4测试 5市场 App介绍 1名字 2介绍 3代码 Github开源技术 第三方开放平台 市场上架 1腾讯应用宝 2优亿eoe市场 3...

2016-05-31 21:25:41

阅读数:6073

评论数:13

Linux回收站功能的实现

RM命令改造 定时清空回收站 记录删除时间 使用方式 RM命令改造 vim /etc/bashrc 在文件的最前端添加如下代码 #修改rm命令 alias rm=delete #命令别名,通过delete来实现rm改为mv alias r=delete alias...

2018-02-11 16:14:05

阅读数:135

评论数:0

Hadoop学习笔记之常用命令

Hdfs命令 Hadoop命令 Hbase命令 实际应用 其他命令 其他 Hdfs命令 hdfs dfs -cat /urlba/url/url.txt|tail -5 后5行 hdfs dfs -cat /urlba/url/url.txt|head -5 前5行 hdf...

2017-10-27 09:58:23

阅读数:851

评论数:0

Hadoop生态圈之Pig

简介 配置 local模式 mapreduce模式 经典案例简介Pig是一个基于Hadoop的大规模数据分析工具,它提供的SQL-LIKE语言叫Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。[1] 相比Java的MapReduce ...

2017-11-29 11:19:38

阅读数:1400

评论数:0

Hadoop学习笔记之avro文件格式

一、什么是avro 英文简介 https://en.wikipedia.org/wiki/Apache_Avro 官网简介 http://avro.apache.org/docs/current/ avro是一个数据序列化系统,它提供 丰富的数据结构 快速可压缩的二进制数据形式 存储持久...

2018-03-27 19:28:51

阅读数:330

评论数:0

Hadoop学习笔记之Partitioner分区

partitioner意为分区,在hadoop中,这个阶段在map之后,reduce之前 具体实现共两步: 1、设置分区类 job.setPartitionerClass(MyPartitioner.class); 自定义partitioner类,MyPartitioner,分区...

2018-02-27 17:09:55

阅读数:66

评论数:0

Hadoop学习笔记之CapacityScheduler队列管理

关于在本地hadoop伪分布式环境下配置队列管理运算资源的问题记录 首先:照下面这个文章配置 Hadoop 设置队列计算能力调度器应用和配置 于是更改mapred.xml,配置capacity-scheduler.xml,配置完成后发现,在代码或者终端里加入队列名称,均显示找不到,后来看到...

2017-11-07 11:47:18

阅读数:226

评论数:0

Python学习入门

新闻 简介 安装环境 开发工具 Hello World python2x python3x 新闻重大改变!Python或将取代VBA,成为Excel官方脚本语言!Python将被纳入高考,小学生都开始学了,你怎么看?小学生都学Python了,金融界将颠覆你恐将被淘汰人工智能时代的新“文盲”:学不懂...

2017-12-22 16:11:07

阅读数:182

评论数:0

GPG对文件加解密的简单实现

初识GPG 加解密实现 gui加解密 生成密钥 命令行方式加解密 信任度设置 方法一 方法二 参考链接 初识GPG 首先下载gpg套件,https://gpgtools.org/ 安装完成后首先建立公私钥,建立好后如下图: 加解密实现 gui加解密 ...

2018-03-08 17:20:55

阅读数:1091

评论数:0

Gps带你跑出你想要的图案

路书效果: 所需软件(mac): 具体步骤: 1、准备素材 2、选择场地 3、素材位置 4、文字描边 5、保存gpx 6、添加路书 7、跑步导航 具体实施: 参考链接: 路书效果: 所需软件(mac): 1、谷歌地球,http://www.pc6.com/mac/...

2018-04-27 15:02:16

阅读数:97

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭