2019年11月_SW_LCC

原创 Redis 键属性介绍

Redis数据库介绍没个Redis客户端都有自己的目标数据库，当客户端执行数据库命令时，目标数据库就是操作对象。数据库切换使用select可切换数据库select 2切换到2号数据库键空间Redis时一个 K-V数据库服务器,每个数据库都有redis.h/redisDb表示，其中redisDb结构里面包含的dict字典保存了数据库中所有的键值对，即键空间。键空间的键为字符串对象...

2019-11-28 00:34:56 464

原创 Redis对象特点

对象命令Redis中操作命令分为两种，一种可以命令可以对任何类型的键执行。如:DEL,RENAME,TYPE,OBJECT。一种只对特定键执行:SET,GET,APPEND,STRLEN只能堆字符串命令键执行。HDEL,HSET,HGET,HLEN只能哈希键执行。RPUSH,LPOP,LINSERT,LLEN只能对列表键执行。SADD,SPOP,SINTER,SCARD只能对集合键...

2019-11-27 11:54:24 151

原创 Redis 哈希对象和集合对象

哈希对象哈希对象编码实现为ziplist或hashtableziplistziplist作为哈希对象底层实现时，当有新兼职加入哈希对象，则会保存键的列表节点放到表尾，再兑入值得列表节点。即保存同一键值对节点总是相邻，保存键的节点在前，保存值的节点在后。先添加到哈希对象中的键值对会放在列表表尾。使用ziplist编码的哈希对象，属性如下:hashtable使用hashtable编码...

2019-11-27 00:22:09 873

原创 Redis 整数集合

整数集合时集合键的底层实现之一，适用于只包含整数值，且数量不多的使用场景。可用于保存int16_t,int32_t,int64_t的整数值。整数集合升级整数集合在存储数值时，如果新的元素长度比久的大，那需要升级。步骤如下:根据新元素的类型，扩展整数集合底层数组空间大小，为新元素分配空间。将底层数组现有元素转成跟新元素相同的类型，并按照有序的顺序防止新元素添加到底层数组该操作时间...

2019-11-25 23:52:45 120

原创 EffectiveJava阅读笔记第2章

创建和销毁对象第1条用静态方法代替构造器获取类的对象，通常有两种方法，一种是创建一个公有的构造器，一种是静态工厂。如下：public static Boolean valueOf(boolean b){ return b ? Boolean.TRUE:Boolean.FALSE;}静态工厂相比构造器有如下优点：有名称静态工厂方法可自己命名，能够更为清楚的描述该方法作用，而构造...

2019-11-18 00:32:09 141

给mysql表中的某个字段统一追加某个值，使用concat，例如给ip字段追加一个ip，使用逗号分割(根据自己需要，看自己的字段是怎么分割的加上就行了）UPDATE student s SET t.ip = CONCAT(s.ip,",127.0.0.1") – 后UPDATE student s SET t.ip = CONCAT(“127.0.0.1,”,s.ip) – 前UPDATE ...

2019-11-15 15:30:19 1209

原创 ElasticSearch索引常用操作

添加索引如果只是简单的使用索引，那么可以利用默认的设置。如果响应自己手动编写复杂的索引，则可通过修改config/elasticsearch.yml文件action.auto_create_index:false来禁止自动创建索引。创建索引使用PUT,如:PUT /my_index{"settings": { ... },"mappings": {"type_one": { ....

2019-11-14 17:20:22 149

原创 ElasticSearch索引分析器使用

配置分析器分析器时三个顺序执行的组件的组合。包括字符过滤器，分词器，标记过滤器。示例:PUT /spanish_docs{ "settings": { "analysis": { "analyzer": { "es_std": { "type": "standard", "stopwords": "_spanish_" } } ...

2019-11-13 23:50:42 379

原创分布式系统特性及问题

集中式的特点集中式特点指由一或台计算机组成中心节点，处理整个系统的业务单元。特点是部署结构简单，性能优越，无需考虑多节点协作问题。分布式的特点分布式特点有如下几个特性：分布性，对等性，并发性。分布式分布在多台计算机空间对等性所有节点都是对等的，多个几点提供相同的服务，每个节点都有能力接收请求并处理。例如数据副本在不同节点持久化同一份数据，当某节点数据丢失时，可从副本读取。并发性...

2019-11-05 23:56:26 253

原创分布式一致性

分布式一致性分布式一致性是指在分布式环境中对某个副本数据进行更新操作时，必须确保其他副本也会更新，避免不同副本数据不一致。分布式系统一个重要的问题时解决数据复制,一是为了增加系统的可用性防止单点故障，二是提高系统可用性，通过负载聚恒，使分布在不同位置的数据副本能够提供服务。一致性级别理想状态下，当然希望分布式系统能够实现数据一致性并且让各个方面都满足要求，但这是难以达到的，例如如果在更新数...

2019-11-03 23:50:59 323

原创 ElasticSearch排序

ElasticSearch相关性排序在Es进行查询的时候，查询结果会按相似程度进行排序，相关性越高则排名越靠前。以_score字段体现相似程度大小排序方式默认情况下是按倒序排序字段值排序指定按某个指端进行排序，例如按照时间排序GET /_search{ "query": { "filtered": { "filter": { ...

2019-11-03 10:08:19 273

原创 ElasticSearch查询过滤

请求体查询由json格式参数进行查询Http不允许get请求中携带交互数据。可用POST携带参数结构化查询结构化查询要使用query参数。示例:1.匹配所有GET /_search{ "query": { "match_all": {} }}2.work字段查找包含elasticsearch的记录GET /_search{ "query"...

2019-11-02 23:22:45 237

原创 jdk1.7环境使用presto

由于服务器环境使用的jdk时1.7版本，但presto需要使用jdk1.8。因此，通过修改presto安装目录如: /presto/bin/launther修改launther，引入jdk1.8。vim launtherPATH=/jdk安装目录/bin:$PATHexec "$(dirname "$0)/launcher.py" "$@"...

2019-11-01 14:46:21 434

原创 hive修改字段后查询不了数据

情况描述hive版本为: apache-hive-2.1.0hadoop版本为: apache-hadoop-2.6.0-cdh-5.13.3修改添加两个字段删除一个字段，但跟日志文件数据是一一对应的。发现修改后，在hive中用mapreduce查询这两个新加的字段，值为null。而用hive中用spark引擎却可以找到字段的值。hive修改字段通过alert table table...

2019-11-01 14:20:16 2247

SW_LCC的博客