- 博客(27)
- 资源 (3)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 7.5 redis总结
RedisNoSQL Not Only SQL存储 内存有数据库的概念，默认16个数据库没有表的概念，直接key value类型：String 字符串 数字 BitMap--set--get--mset--mget--incr incrBy incrByFloat--desc descBy--setBit--getBit--bitCountList 有序--lPush RPush --LPOP R...
2018-06-29 10:14:38
190
原创 7.4 redis集群
集群分类主从复制 Replication 高可用 Sentinel 集群 Cluster 分布式 twemproxy主从复制 Replication：一个Redis服务可以有多个该服务的复制品，这个Redis服务称为Master，其他复制品称 为Slaves 只要网络连接正常，Master会一直将自己的数据更新同步给Slaves，保持主从同步 只有Master可以执行写命令，Slaves只能执行读...
2018-06-29 10:13:46
214
原创 7.3 redis持久化
什么是持久化：将数据从掉电易失的内存存放到能够永久存储的设备上Redis为什么需要持久化：基于内存的 --关机数据就消失Redis持久化方式：RDB（Redis DB） --存数据 有2种形式，save直接持久化，但会阻塞；bgsave不会阻塞AOF（AppendOnlyFile） --存命令Redis持久化-RDB：在默认情况下，Redis 将数据库快照保存在名字为 dump....
2018-06-28 08:32:22
424
原创 7.2 redis命令
redis命令：redis-cli 进入Redis环境Help @string 获取所有string类型帮助Help @list 获取所有list类型帮助set 123 456 定义一个key=123,value=456的值get 123 查询key=123的值set key zhangsan ex 10 设置key,value值，并10秒后...
2018-06-27 10:10:06
236
转载 html 之间如何通过URL传输参数，并解决中文乱码问题
当在输入框中输入内容后，点击搜索，应用就会跳转到搜索页面，并传递了上一个页面搜索的内容“九”，同时搜索关联游戏，起初，如果直接通过 url?+搜索内容，这种方法实现参数传递的话，当我们搜索数字或者英文字母时，不会有问题，但是搜索中文的时候，就会出现一堆百分号样的搜索数据，这就可以说是Url中传递中文参数乱码。 怎么解决HTML界面间传递中文参数的乱码问题呢？ 1.可以使用encodeURI...
2018-06-25 13:52:25
1040
转载 分享深入理解Java注解
java注解是在JDK5时引入的新特性，鉴于目前大部分框架(如Spring)都使用了注解简化代码并提高编码的效率，因此掌握并深入理解注解对于一个Java工程师是来说是很有必要的事。本篇我们将通过以下几个角度来分析注解的相关知识点理解Java注解基本语法声明注解与元注解注解元素及其数据类型编译器对默认值的限制注解不支持继承快捷方式Java内置注解与其它元注解注解与反射机制运行时注解处理器Java 8...
2018-06-25 11:17:47
239
原创 7.1 redis介绍以及安装
官网：www.redis.ioRedis：开源的，遵循BSD协议，使用C语言编写；基于内存的（一般内存数据库数据都不持久）且支持持久化，高性能 的Key-Value的NoSQL数据库(非关系型数据库)Redis：版本好偶数结尾的都是稳定版，奇数结尾的都是测试版支持数据结构类型丰富，有如 字符串（strings）， 散列（hashes）， 列表 （lists）， 集合（sets）， 有序集合（sor...
2018-06-25 08:19:06
267
原创 6.4 Impala和HBase进行整合,JDBC
Impala可以通过Hive外部表方式和HBase进行整合步骤1：创建hbase 表，向表中添加数据create 'test_info', 'info'put 'test_info','1','info:name','zhangsan'put 'test_info','2','info:name','lisi'• 步骤2：创建hive表CREATE EXTERNAL TABLE test_info...
2018-06-22 08:23:33
515
原创 6.3 Impala介绍
https://www.cloudera.com/products/open-source/apache-hadoop/impala.htmlhttp://www.impala.io/index.htmlCloudera公司推出，提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。基于Hive使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点是CDH平台首选的PB级大数据...
2018-06-21 08:31:57
405
转载 一文带你看穿String
1.1 前言 String对象是不可变的。String类中每一个看起来会修改String值的方法，例如拼接、裁剪字符串，实际上都会创建一个全新的String对象，用来包含修改后的字符串内容。因此字符串的相关操作往往对性能有明显的影响。1.2 定义public final class String implements java.io.Serializable, Compara...
2018-06-20 11:04:07
201
转载 浅谈设计模式之单例模式
单例模式（Singleton Pattern）是 Java 中常用的设计模式之一。这种类型的设计模式属于创建型模式，它提供了一种创建对象的最佳方式。这种模式涉及到一个单一的类，该类负责创建自己的对象，同时确保只有单个对象被创建。这个类提供了一种访问其唯一的对象的方式，可以直接访问，不需要实例化该类的对象。注意：1、单例类只能有一个实例。2、单例类必须自己创建自己的唯一实例。3、单例类必须给所有其他...
2018-06-20 08:20:45
155
原创 6.2 Cloudera Manager(CDH)安装
前提：前面安装前准备步骤没有出错1、安装Cloudera Manager Server、Agent上传cloudera-manager-el6-cm5.4.3_x86_64.tar.gz 包mkdir /opt/cloudera-managertar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager或 tar -zxvf clouder...
2018-06-20 08:18:24
2632
原创 6.1 CDH介绍安装安装前准备
CDH 是hadoop的发行版，是hadoop分支中的一种，由cloudera维护，基于稳定版的hadoop构建，提供hadoop核心CDH3：是最早版本，对应hadoop1.x版本 开始免费版只支持50个机器CDH4，CDH5，对应hadoop2.X版安装方式：clouder Manager 是一个管理CDH端到端的应用，管理监控，诊断，集成Yum rpmTarball要是三台虚拟机：...
2018-06-19 10:21:37
3036
转载 linux下在压缩的文件中找乱码
因数据核查需要，在一堆压缩文件中（共8269个压缩文件，200G的存储空间）找是否有乱码；在网上搜索了好的办法，结合自己实践，找到办法，先共享下，环境： linux、zh_CN.utf8一、先解压后搜索1、将同一上层的adb文件的压缩文件解压到当前文件夹（）：ls ../adb/* |xargs-n1 tar -xzvf2、搜索： grep -P "[\x80-\xff]" *.txt |hea...
2018-06-12 08:25:45
356
转载 关于大数据的常见误解
我时常听创业者说自己的公司每天会生产/记录很多的数据，虽然他们暂时还没想明白怎么用这些数据，但把这些数据都先存起来了。他们经常还说，通过这些数据他们的产品/服务将得到很大的提升，仿佛这些数据就是公司的救世主一样。我不想讨论这种观点正确与否，但想在这里解释两个关于大数据的常见误解：一、数据不等于信息经常有人把数据和信息当作同义词来用。其实不然，数据指的是一个原始的数据点（无论是通过数字，文字，图片还...
2018-06-12 08:24:02
560
原创 5.8 Java操作HBase
HBase模糊查询：http://www.cnblogs.com/seaspring/p/5631933.html/** * <p>内容描述：操作HBase</p> * @author lvjie * @date 2017年7月7日 上午11:54:20 */public class UseHbase { public static String TN = "tab1"; ...
2018-06-11 16:25:52
169
原创 5.7 HBase和MapReduce整合
读hdfs数据写到HBase中：注意hadoop和HBase的包都需要导入，先创建表WordCountMapper：package com.laoxiao.mr.hbase;import java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;impor...
2018-06-09 09:30:10
697
原创 5.6 HBase优化-Protocol Buffer
Protocol Buffer：是一种轻便高效的结构化数据存储格式，可以用于结构化数据串行化，或者说序列化Protocol Buffer安装：yum grouplist 检查yum 组--安装包在yum里是分组的yum groupinfo Development tools 查看Development tools组信息yum groupinstall Development ...
2018-06-08 15:34:55
384
原创 5.5 HBase表设计实例
1、人员-角色 人员有多个角色 角色优先级 角色有多个人员 人员 删除添加角色 角色 可以添加删除人员 人员 角色 删除添加人员表rowkey cf1-人员基本信息 cf2-角色列表pid cf1:pname=hmm;... cf2:rid=n(优先级)001 cf1:pname=小明;cf1:sex=boy;... cf2:101=0;...
2018-06-07 09:17:10
1132
转载 MySQL-性能优化-索引和查询优化
MySQL-性能优化-索引和查询优化要知道为什么使用索引，要知道如何去使用好索引，使自己的查询达到最优性能，需要先了解索引的数据结构和磁盘的存取原理参考博客：MySQL索引背后的数据结构及算法原理如上这篇博客写的挺好，我就不再造轮子了，对如上博客，我总结如下几个重要的要点：1. 不使用顺序查找，因为顺序查找比较慢，通过特定数据结构的特点来提升查询速度，这种数据结构就是可以理解成索引。2. 索引一般...
2018-06-06 08:50:22
170
原创 5.4 HBase语句
hbase shell 进入HBaseHBase光标是往后删除的，要往前删除需要按着Ctrllist 查看当前HBase中具有哪些表listcreate 'scores','grade', 'course' 创建表，表名scores,列族grade，courseput 'scores','1','course:name','sansan' 向scores表中添加row key为...
2018-06-06 08:46:00
230
原创 5.3 HBase数据库-伪-完全分布式搭建
HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、 实时读写的分布式数据库利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理 HBase中的海量数据,利用Zookeeper作为其分布式协同服务主要用来存储非结构化和半结构化的松散数据ROW KEY：决定一行数据，按照字典顺序排序的，只能存储64k的字节数据Column Fa...
2018-06-05 08:31:54
337
转载 请收下电脑Windows系统快捷键，拒绝重复劳动，高效工作每一天
电脑普及已经有很多很多年啦，记得小学就开始学习计算机了，但是很多小哥哥小姐姐不知道电脑也是有快捷键的，或者说只知道最最基本的CTRL+C、CTRL+V。下面，小编筛选了一批优质的快捷键分享给大家，供大家一起进步。常规快捷键F1 显示当前程序或者windows的帮助内容。F2 当你选中一个文件的话，这意味着“重命名”F3 当你在桌面上的时候是打开“查找：所有文件” 对话框（WIN10不适用）F5 刷...
2018-06-04 10:00:22
1539
原创 5.2 hive语句
内表删除表或者分区元数据和数据都删了外表删除表元数据删除，数据保留show databases; 查看所有库hive -f create.sql 在hive里执行脚本create database traffic; 创建数据库use traffic; 切换数据库show tables; 查看表创建表(内部表)：create table psn1 (id int, ...
2018-06-04 09:15:56
357
转载 Java面试总结如何处理项目的高并发、大数据
1.HTML静态化如果网站的请求量过大，我们可以将页面静态化提供访问来缓解服务器压力，能够缓解服务器压力加大以及降低数据库数据的频繁交换。适合于某些访问了过大，但是内容不经常改变的页面，如首页、新闻页等2.文件服务器顾名思义，文件服务器就是将文件系统单独拿出来提供专注于处理文件的存储访问系统，甚至于对个文件服务器。因为对于图片这种资源的访问存储是web服务最耗资源的地方，将文件服务器单独部署既可以...
2018-06-01 10:47:09
21027
原创 5.1 hive数据仓库
hive：是数据仓库，不是数据库，是非Java编程者对hdfs的数据做mapreduce操作，把SQL语言转化为mapreduce语言数据仓库：存的是历史数据，做分析用，增加冗余数据库：存在线数据，减少冗余hive最小处理单元是操作符，每个操作符代表hdfs的一个操作或一个mapreduce程序hive三种模式：本地模式，单用户模式，多用户模式mysql安装：yum -y install mysq...
2018-06-01 10:08:07
379
转载 只需一招，教你关闭烦人的Win10自动更新
近期，不少朋友吐槽自从Win10升级为1803版本，就容易出现固态耗电增大发热严重或者卡死蓝屏等情况，甚至更严重的就直接变砖（所有固态都一样）。那么该怎么解决这个问题呢？最好的办法就是不要升级win 10 1803版本，等待微软出更高版本。或者手动设置关闭更新。不过很多人发现Win 10老是配置更新。同时无论是控制面板还是设置项目，都没有找到能关闭的自动更新的选项。这是因为Win10全新的采用自动...
2018-06-01 10:02:24
91016
6
多对单选框，怎么判断，让每个项都不能为空
2014-04-03
TA创建的收藏夹 TA关注的收藏夹
TA关注的人