bck1453925668的博客

HDFS拥有回收站的功能，将某一段时间的删除的数据，放到指定路径（/user/{username}/.Trash），至少保留指定的时间，然后一起删除。现实中发现回收站里有该删除的却没有删除，和回收站原理逻辑对不上。以下从源码上看看到底是什么原因导致的。

rpm包查看一般命令安装软件：rpm –ivh filename.rpm升级软件：rpm –Uvh filename.rpm卸载软件：rpm –e filename.rpm查询软件描述信息：rpm –qpi filename.rpm列出软件文件信息：rpm –qpl filename.rpm查询文件属于哪个RPM包：rpm –qf filename.rpmq=quer...

mysql-5.7.21-1.el6.x86_64.rpm-bundle.tar安装到centos6.5-rw-r--r-- 1 root root 472760320 Aug 3 20:14 mysql-5.7.21-1.el6.x86_64.rpm-bundle.tar-rw-r--r-- 1 7155 31415 23850100 Dec 28 2017 mysql-comm...

问题一在spark里使用 rdd.map 做准换时，其中有一个时间字段(列), 需要将java.util.Date类型转换为字符串类型，进行对表insert。转换时出现了 2021-02-31这种非法日期，从而导致入库失败package com.scala01import java.text.SimpleDateFormatimport java.util.Dateimport org.apache.spark.sql.{DataFrame, Dataset, SaveMod.

Jackson用于解析json数据，现有解决的几个问题：例：json数据---HBASE的JMX数据{ "beans": [{ "name": "Hadoop:service=HBase,name=Master,sub=AssignmentManger", "modelerType": "Master,sub=AssignmentManger", "tag.Context": "master", "tag.Hostname": "hadoop-warehouse-master-0

在Hadoop2.9.2的log4j.properties配置文件中，默认情况下日志有两种滚动方式：log4j.appender.RFA=org.apache.log4j.RollingFileAppenderlog4j.appender.DRFA=org.apache.log4j.DailyRollingFileAppender其中RFA和DRFA为关键字。若想起用某种方式需要在...

<dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifactId> <version>1.7.30</version> </dependency>测试将指定的类 的日志单独打印到一个文件中## 指定类的日志单...

在MySQL数据库系统中，权限分配是按照user表>db表>table_pric表>columns_priv表的顺序来分配的。即先判断user表中的权限是否为Y，如果user表中的值是Y，就不需要检查后面的表。否则依次检查db表、table_priv表和columns_priv表。...

1使用rpmdev-setuptree命令，可以在当前用户下生成以下结构文件夹rpmbuild/ BUILD RPMS SOURCES SPECS SRPMS当然，也可以手动新建cd ~/rpmbuild;mkdir -pv {BUILD,BUILDROOT,RPMS,SOURCES,SPECS,SRPMS}2将准备的包hello-2.8.2.2.tar.gz 放到rpmbuild/SOURCES 必须是tar.gz 结尾...

背景：公司使用cloudera安装了一些组件，前人留下了一个大坑，cloudera安装是使用的在线（连互联网）安装，然而 现在cloudera官网不能下载任何包了，关键是这个版本再网上还找不到，所以需要自己打包cloudera*el7.x86_64.rpmfpm安装https://blog.csdn.net/bck1453925668/article/details/85867220fpm安装依赖包 下载https://rubygems.org/gems/fpm/versions/1.10.2..

MR任务启动hadoop jar MapReduceTest-1.0-SNAPSHOT.jar com.example7pi.jobPI -Dmapred.child.java.opts="-Xmx1024m" -Dmapreduce.map.memory.mb=1024 100 1000000000-Dmapred.child.java.opts="-Xmx1024m" -Dmapreduce.map.memory.mb=1024 参数只能放在类名后 参数前。若是放在最后，参数获取不到关于M

package com.cli;import org.apache.commons.cli.*;import org.apache.commons.math3.random.AbstractRandomGenerator;public class test { public static void main(String[] args) throws ParseException { CommandLine cmdlines = cmdLine(a...

1.增加短路读路径mkdir /var/lib/hadoop-hdfs chmod 775 /var/lib/hadoop-hdfschown hdfs:root -R /var/lib/hadoop-hdfs2.开启datanode 短路读(${HADOOP_HOME}/etc/hadoop/hdfs-site.xml)添加配置 <property> <name>dfs.client.read.shortcircuit</name> ...

使用MR任务读取txt文档, 将文件转换HFile文件, 再将HFile文件导入hbase表中, 这样对hbase无压力mapperpackage com.hbaseBulkLoad;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase.*;im

以下代码是使用MR任务读取HBASE的表，然后再写到HBASE表中， 也可以写到另外的HBASE集群的表中Mapperpackage com.MRforHbaeToHbase;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellUtil;import org.apache.hadoop.hbase.client.Put;import org.apache.hadoop.hbase.client.Re

提交MapReduce任务,增加依赖其他jar方法执行mapreduce任务,若是依赖其他包,需要将包做以下指定, 提交机客户端执行:$ export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/home/bai/software/hbase/lib/*执行以下命令,查看是否生效[bai@hadoopsit201 ~]$ hadoop classpath... /home/bai/software/hbase/lib/*: ......

https://www.iteblog.com/api/raft/raft协议: leader选举的过程节点有3中状态: Follower > Candidate(候选人) > Leaderelection timeout 是follower变成Candidate的时间,这是一个150ms 到 300ms的随机数heartbeat timeout leader向follower发送的信息leader选举1.一开始节点的状态都是follower2.每个节点都会设置一个elect

java的json处理包jackson <!-- https://mvnrepository.com/artifact/com.fasterxml.jackson.core/jackson-databind --> <dependency> <groupId>com.fasterxml.jackson.core</groupId> <artifactId>jacks

在看hutool工具类是看到 了获取主机ip的方法 HostInfo hostInfo = new HostInfo(); System.out.println(hostInfo.getAddress()); System.out.println(hostInfo.getName());但是这个方法在win7上获取的IP是错误的, 获取到的地址是:169.254.246.199第二种方法System.out.println("===...