2020年07月_浅汐王

原创 mongoDB4.x账户权限配置

创建不受限制的超级用户db.createUser({"user":"root","pwd":"root","roles":["root"]}); 创建admin超级管理用户use admin;db.createUser({user: "admin", pwd: "admin",roles: [ { role: "userAdminAnyDatabase", db: "admin"}]})修改 Mongodb 数据库配置文件auth=true重启mongo创建一个业务数据库

2020-07-31 17:42:42 70195

原创 mongoDB4.2.8备份恢复与导出导入

备份数据备份就是要保存数据的完整性，防止断电，病毒感染等等情况，使数据丢失。有必要的话，最好勤备份，防止数据丢失。创建备份目录：mkdir -p /bigdata/mongodb-4.2.8/mongodump语法：mongodump -h localhost:27017 -d dmp_phone -o /bigdata/mongodb-4.2.8/mongodump-h：MongDB所在服务器地址，例如：127.0.0.1，当然也可以指定端口号：127.0.0.1:27017-d：

2020-07-30 15:41:37 70768

原创 MongoDB4.x优化

MongoDB架构MongoDB是典型的C/S架构，数据库存储采用主从结构，应用发起的读写请求都落在主库上，如果是写入请求，主库提交之后，还会同步写入到对应的从库上，同步的具体方式是类似OpLog，主库+从库组成了一个副本集，是MongoDB最小的部署单位。同时，MongoDB还支持较为复杂的集群方案，为用户解决元数据的高可用，业务数据的冗余和灾备（副本集来保证），动态自动分片，动态自动数据均衡等问题。典型的集群架构如下图所示：上面的图表示的集群由两个副本集，一个配置服务器，两个Mong

2020-07-30 15:34:39 70819

原创 MongoDB4.0将支持多文档事务

背景在早期，我们说的MongoDB支持事务是指针对MongoDB的单文档级别，与我们MySQL等关系型数据库中的事务是不同的，那什么是单文档事务呢？db.username.update({'name': 'helei'}, {$set: {'age': 26, 'score': 85}})上述命令对username集合中，name为helei列的行进行更新，如果age更新为26，score由于宕机或其他原因导致更新失败，那么MongoDB则会回滚这一操作。单文档ACID的实现Mongo

2020-07-30 13:55:21 71568

原创 JAVA代码实现编程式提交Spark任务

三种方法作为记录：1）直接调用SparkSubmit的main方法2）SparkLauncher类的launch方法或者startApplication方法3）使用RestSubmissionClient的run方法SparkSubmit提交任务 String[] param = { "--class", "org.apache.spark.examples.SparkPi", "--master", "local[2]", "/bigdata/spark-2.

2020-07-29 16:54:11 70807 2

原创 Livy的安装使用

Livy介绍（apache 孵化项目）官网：https://livy.incubator.apache.org/Livy是一个提供rest接口和spark集群交互的服务。它可以提交spark job或者spark一段代码,同步或者异步的返回结果;也提供sparkcontext的管理,通过restfull接口或RPC客户端库。Livy也简化了与spark与应用服务的交互,这允许通过web/mobile与spark的使用交互。其他特点还包含:长时间运行的SparkContext,允许多个spark

2020-07-29 15:32:42 70790

原创 MongoDB4.2.8增删改查

pom <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-mongodb</artifactId> </dependency>user实体类import lombok.AllArgsConstructor;

2020-07-14 09:15:43 70068

原创 Java工具类

随机生成时间范围内的时间戳 public static Date randomDate(String beginDate, String endDate) { try { SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); Date start = format.parse(beginDate);// 构造开始日期 Da

2020-07-13 11:43:42 70062

原创 MongoDB高级部分

1.关联关系嵌入式关系建模引用式关系2.数据库引用 DBRefs（自动参考）手动参考 3.覆盖查询（是一个查询，本质上就是直接从索引中取出数据，不会对文档进行扫描） 1）查询中的所有字段都是索引的一部分 2）查询中返回的所有字段都在同一索引中覆盖索引的示例： 1）创建复合索引 db.users.ensureIndex({gender:1,user_name:1}) 2）覆盖索引示例 db.users.find({gender:"M"},{user_name:1,_i.

2020-07-13 10:59:47 69507

原创 MongoDB初级部分

快速入门是跨平台、文档型（对象）的数据库（NoSQL），提供高性能，高可用和易于扩展。（Mongo工作在集合和文档上的一种概念）MongoDB 和 MySQL的对应关系：db（数据库） database（数据库） collection（集合） table（表） Document（文档的数据结构和JSON基本一样，所有存储在集合中的数据都是BSON格式） BSON是一种类似 JSON 的二进制形式的存储格式，是 Binary JSON 的简称。 .

2020-07-10 17:04:33 70018

原创记录MongoDB占用内存太大

原因：MongoDB为了优化本身的读写效率，将内存当作缓存，所以读写的次数越多，缓存就越大。默认值为 50% *（RAM - 1GB）或者 256MB，从MongoDB3.4开始，WiredTiger内部缓存默认使用默认值中较大的一个。解决办法：修改config/mongod.cfg配置dbpath=/data/app/mongodb4.2.8/data/rs1 #MongoDB数据安装目录logpath=/data/app/mongodb4.2.8/log/rs1

2020-07-08 17:49:17 70954

浅汐