- 博客(7)
- 收藏
- 关注
RSS订阅原创 mongodb
1. 为什么mongdb需要创建索引加快查询速度 进行数据的去重2. mongodb创建简单的索引方法语法：db.集合名.ensureIndex({属性:1})，1表示升序， -1表示降序3. 创建索引前后查询速度对比测试：插入10万条数据到数据库中插入数据：for(i=0;i<100000;i++){db.t1.insert({name:'test'+i,age:i})}创建索引前：db.t1.find({name:'test10000'})db.t1.fin
2021-11-12 09:51:12
84
原创 redis持久化
快照持久化 RDBRedis可以通过创建快照来获得存储在内存里面的数据在某个时间点上的副本。Redis创建快照之后，可以对快照进行备份，可以将快照复制到其他服务器从而创建具有相同数据的服务器副本（Redis主从结构，主要用来提高Redis性能），还可以将快照留在原地以便重启服务器的时候使用。快照持久化是Redis默认采用的持久化方式，根据配置，快照将被写入dbfilename选项指定的文件里面，并存储在dir选项指定的路径上面。如果在新的快照文件创建完毕之前，Redis、系统或者硬件这三者中的任意一
2021-11-05 15:09:50
54
原创 flume
一．Flume架构flume是通过flume agent进行数据的采集、传送工作的。Flume agent可以理解为flume中的一个基本单元，它包含source、channel、sink三个部分。Source用于数据采集工作，将采集到的数据传送到channel中。Channel是一个通道，连接source和sink，用于数据的传送。Sink用来消费channel中的数据，可以将数据持久化或者将数据传送给另一个source。二．Flume AgentFlumeAgent包含三个部分，
2021-10-29 14:58:42
975
原创 HIVE JSON解析
{"name":"zhangsan","age":"22","timeStamp":"978300760","id":"1"}{"name":"lisi","age":"21","timeStamp":"978300790","id":"2"}{"name":"wangwu","age":"22","timeStamp":"978300780","id":"3"}1、使用函数get_json_object(string json_string, string path)返回值：String说明：解析js
2021-10-15 15:27:55
394
原创 Linux
vi编辑器的操作模式命令行模式：vi或vim进入文件后默认命令模式 在编辑模式下按下ESC键返回命令行模式。 是vi的默认模式。在这一模式中，所有的输入被解释成vi命令，可以执行修改、复制、移动、粘贴和删除正文等命令，也可以进行移动光标、搜索字符串和退出vi的操作等。 a：进入插入模式并在光标之后进行添加。 i：进入插入模式并在光标之前进行插入。 o：进入插入模式并在当前（光标所在）行之下开启新的一行。编辑/插入模式：输入a、i、o之一在编辑模式中，可以往一个文件中输
2021-09-25 14:24:33
69
原创 hadoop集群搭建
Hadoop没有使用java语言的管理配置文件，也没有使用Apache管理配置文件，而是使用了一套独有的配置文件管理系统，并提供自己的API。以XML文档格式进行配置，使用相应的配置文件类读取，并配置集群的运行。<?xml version="1.0"?><?xml-stylesheettype="text/xsl" href="configuration.xsl"?><configuration><property><name&g
2021-09-18 15:19:13
122
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人