伟乂-CSDN博客

原创 java 文件编码GBK转UTF-8

try { //以GBK读入 File fileName = new File("E:\\工作内容\\纯真ip数据\\ip\\纯真ip.txt"); FileInputStream fr = new FileInputStream(fileName); BufferedReader br = new Buffer...

2019-02-26 10:33:43 1089

原创 vim笔记

vim笔记vim很优秀，在命令行模式下能体会到vim的强大；vim的模式vim有三种模式1. Command mode命令行模式，即在这种模式下，输入的任何字符都是命令；提示 : 如果不知道怎么进入该模式，就按一下Esc；2. Insert mode插入模式，即在这种模式下，和记事本基本是一摸一样的，想写什么就写什么；提示 :进入 -> 按插入命令进入该模式；退出 -&...

2019-02-19 18:16:53 189

原创 leetcode : 709. To Lower Case

题目标签string题目难度easy题目地址：https://leetcode.com/problems/to-lower-case/题目描述:Implement function ToLowerCase() that has a string parameter str, and returns the same string in lowercase.Example 1:In...

2019-02-08 18:03:50 169

原创 leetcode : 344. Reverse String

题目标签string题目难度easy题目地址：https://leetcode.com/problems/reverse-string/题目描述:Write a function that reverses a string. The input string is given as an array of characters char[].Do not allocate ext...

2019-02-08 15:35:01 228

原创 leetcode : 13. Roman to Integer

题目标签string题目难度easy题目地址：https://leetcode.com/problems/roman-to-integer/题目描述 :Roman numerals are represented by seven different symbols: I, V, X, L, C, D and M.Symbol ValueI 1...

2019-02-07 18:06:48 126

HBase是一个开源的非关系型的高可靠、高性能、面向列、可伸缩的分布式存储系统。它使用ZooKeeper集群来管理，基于HDFS存储海量数据。参考了谷歌的BigTable建模，典型的Key/Value系统。HBase其实并不快，但是在处理海量数据的时候它不慢。所以在数据量超级大的时候，使用HBase并不会让你失望。但是HBase并不适合做细腻的数据分析，它的一切操作都是添加操作。这没有关系，因为...

2018-08-12 13:44:32 348

原创 MapReduce的Shuffle原理

MapReduce的Shuffle原理示意图HDFS是数据存储的位置。MapReduce是基于HDFS或HBase之上的。MapReduce分为map和reduce两个过程。可以这么理解，map把数据拢过来，然后以键值对的形式发给reduce，reduce将相同的键合并，并输出。而map和reduce之间的过程就是shuffle过程。从图中可以看出，数据都是分片的，而一个split对应一...

2018-08-05 15:25:55 863 1

原创 hive的derby及mysql元数据库的安装

hive是远程仓库。hive的原理是通过类SQL语句（hql）的解析帮助程序员完成MR的计算。下面是hive的元数据库的安装过程。首先是安装hive自带的元数据库derby。derby的安装1、开启虚拟机，启动hadoop集群，hadoop集群在我之前的博客有，如没有搭建好集群，可以去我前面的博客练习搭建。使用连接工具（我使用的是xshell）进行虚拟机的连接。为什么要使用连接工具...

2018-08-05 14:41:43 1449 1

原创 linux上安装mysql

1.1安装mysql数据库推荐mysql版本mysql-5.6.31-linux-glibc2.5-x86_64 1)在一台服务器上导入安装包，进入安装包所在目录，执行命令： su root tar –zxvf mysql-5.6.31-linux-glibc2.5-x86_64.tar.gz 如果报错gzip: stdin: not in gzip format tar: Chil...

2018-07-31 09:29:53 218 1

原创从头开始的HDFS伪分布式环境的搭建

HDFS，Hadoop Distributed FileSystem是hadoop分布式文件系统，HDFS是hadoop的核心之一，主要负责数据的存储这一方面。当数据量非常大的时候，一台机器其实是存不下的，而且，数据仅存一份的话，容易发生数据丢失等问题。所以我们需要把数据存在很多台机器上，而HDFS就是一个很好的数据存储的位置。我们要使用HDFS就要先搭建HDFS环境，而搭建HDFS其实就是搭一个...

2018-07-28 21:03:29 426 1

原创 JavaSE——面向对象

人生第一次写博客，不知道写点什么，大三了，即将面临秋招，那就复习一下我学习的JavaSE吧，纯属个人理解，如有错误，请大家指正，谢谢大家。从面向对象开始吧。面向对象编程(OOP)，是Java的核心。我们要理解面向对象的思想，这样就会一通百通。詹姆斯·高斯林，Java的创始人，他想让程序员变得更加轻松，例如：Java的图标为什么会是咖啡，我觉得并不是他喜欢喝爪哇咖啡，而是寓意着想让程序员变得更加...

2018-07-21 20:55:25 270 1

gjwcsdn的博客