weixin_44761855的博客

MongoDB在操作的时候遇到权限问题 导致导入数据及连接hive出现权限问题， 常规的导入csv文件到MongoDB mongoimport --headerline --type=csv --file=./users.csv -d events_db -c users 这命令在没有创建权限用户时可以正常导入，但当创建了权限用户后再导入 就会报权限不够的问题，如下： 此时需要修改执行命令，添加...

1.提交作业，作业进入PREP状态 oozie job -oozie http://localhost:11000/oozie -config job.properties -submit job: 14-20090525161321-oozie-joe 2.执行已提交的作业 oozie job -oozie http://localhost:11000/oozie -start 14-200...

hive执行join语句时 报错Map local work exhausted memory 导致该错误的原因是localtask出现了内存溢出。 由于开启了hive.auto.convert.join，但是实际小表大小是hive.mapjoin.smalltable.filesize（默认25M，小表不会超过25M）。由于使用的是orc压缩，解压缩后可能大小到了250M，存放到内存大小可能就会...

分享一个hive的 踩坑记录，执行 需要跑MapReduce任务的语句时，报错Error: Java heap space（JAVA 堆空间不足），排查该错误是由于hive任务所使用的内存数量造成的 解决办法： 1、第一个方案 在hive-env.sh中进行更改： 添加 export HADOOP_HEAPSIZE=4096这个属性 2、第二个方案 设置 set io.sort.mb=10; 默...

1、查看topic kafka-topics.sh --list --zookeeper localhost:2181 2、创建topic kafka-topics.sh --zookeeper localhost:2181 --create --topic users --partitions 3 --replication-factor 1 3、修改topic kafka-topics.sh ...

写flume实时导入数据时报错 flume-sink报错 : close() called when transaction is OPEN - you must either commit or rollback first 在确认代码无误的情况下，引起该错误的主要原因是flume启动给的内存不足引起的， flume-ng 启动文件默认的启动内存为20M 可以修改flume-ng文件： JAV...

最近在做flume的实时日志收集，记录一下memeryChannel的transactionCapacity参数采的坑，transactionCapacity默认值为100，也就是说收集端的sink会在收集到了100条以后再去提交事务（即发送到下一个目的地），于是我修改了transactionCapacity到10，想看看是不是会更加实时一点，结果发现收集日志的agent启动的时候报错了 16/0...

在本地的pycharm可以正常使用matplotlib绘图，但在ssh远程绘图时会报错：RuntimeError: Invalid DISPLAY variable 错误原因： matplotlib的默认backend是TkAgg，而 FltkAgg, GTK, GTKAgg, GTKCairo, TkAgg , Wx or WxAgg 这几个backend都要求有GUI图形界面的，所以在ssh操...

文章目录Python 中 str.format() 方法详解0. 参考资料1. 术语说明2. 简单字段名2.1 简单字段名的说明2.2 省略字段名2.3 数字形式的简单字段名2.4 变量名形式的简单字段名2.5 简单字段名的混合使用2.6 使用元组和字典传参3. 复合字段名3.1 复合字段名的说明3.2 `.` 点号的使用3.3 `[]` 方括号的使用4. 转换字段5. 格式说明符5.1 标准...

java操作hdfs输出文件内容的方法 自定义了一个 inputToString的方法，代码可能写的不规范。。 //输出文件 @Test public void redToString() throws IOException { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(co...

记录java操作hdfs新建maven工程的依赖包， <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.2</ve...

在hadoop操作hdfs时 遇到Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x 问题 也是常说的权限问题； 解决办法： 在hadoop的配置文件 etc/hadoop/hdfs-site.xml加入以下配置 dfs.permissions.enabled false 问题解决！！...

在学习java操作hdfs进行文件下载时，一直报空指针异常的错误， 原代码： @Test public void getFileFornHDFS() throws IOException { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); // 3. 调用API进...

MyBatis-Plus 荣获【2018年度开源中国最受欢迎的中国软件】 TOP5，做为这两年比较火的框架，使用起来还是很简单的。 开始吧 1、首先准备一张表“users”表。 2、创建一个springboot工程，“可以使用 Spring Initializer 快速初始化一个 Spring Boot 工程”，具体工程的创建这里就不说了。大家都懂的。 3、添加相关依赖，如下： <!-- ...

VMware Workstation虚拟机在使用过程中，会经常因为虚拟机不能使用网络而烦恼么？或者新装的虚拟机就不能正常连接网络，下面来教大家一个小方法来解决这个题： 方法一： 1.1、我们要保证实体机的网路是通畅的，网页能打开。首先检查VMware Workstation虚拟机网络服务是否已经启动，因为360加速球等软件可能会自动禁止虚拟机的网络服务。选中“计算机”*（W7叫“计算机”，XP系统...

数据库主从同步、读写分离配置 数据库主从同步、读写分离在处理高并发当中也是很重要到的一个单元，同时，数据库主从同步、读写分离不但可以用来处理高并发，同时还可以拥有负载均衡、数据库备份等功能；下面就我我自己在配置主从同步的步骤做一下记录： 准备两个数据库 主数据库IP ：118.25.57.*； 从数据库IP ：111.231.197.； 前提 两个数据库建立相同的账号和密码 并且两个数据库的账...