fanchw的专栏

原创 Centos7.3版本Docker部署Gitlab

Centos7.3版本Docker部署Gitlab1.Centos7.3版本部署1.1网络设置静态IP的设置。DNS的设置，保证服务器可以访问外网。1.2.设置Centos7.3的yum源为国内的阿里云源yum install -y wget1）备份原镜像文件，以免出错后可以恢复mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repo...

原创 CentOS7查看CPU核数

1. 查看CPU型号 cat /proc/cpuinfo | grep name | sort | uniq2. 查看核数和逻辑CPU数目# CPU 个数cat /proc/cpuinfo | grep "physical id" | sort | uniq | wc -l# 核数cat /proc/cpuinfo | grep "core id" | sort | uniq | wc -l# 线程cat /proc/cpuinfo | grep "processor" | sort

原创 How To Reset Root Password On CentOS 7

How To Reset Root Password On CentOS 7Resetting root password in CentOS/RHEL 7 is slightly different than the older versions. The post describes the procedure to reset the lost root password.Reboot and edit grub2Reboot the system and press any key to st

原创 使用root用户登录linux显示access denied解决办法

使用root用户登录linux显示access denied解决办法 原因是**一般linux系统是默认禁止远程登录root用户的** 需要使用以下命令使他允许登录： 首先编辑配置文件 vi /etc/ssh/sshd_config1 在文件中找到 (可...

原创 Oracle创建只读账户

通过管理员账户登录执行一下命令create user 用户名 identified by 面面;grant connect,resource to 用户名 ;grant select on 其他用户.xx表 to 用户名 ;通过新建只读用户登录测试

原创 influx 导出数据

influx -host ip_addr -database name -format csv -execute "select time,value from “tablename” limit 100 " -precision=rfc3339 >> hahaa.csvprecision rfc3339 UTC时间

原创 centos7.2设置静态ip不生效

centos7.2设置静态ip不生效 一、检查/etc/sysconfig/network-scripts目录下配置文件 1、看到了一个陌生的配置文件 ifcfg-Wired_connection_1，度娘查询了一下这个配置文件是系统启动调用的网卡配置文件和Netw

原创 influxdb中将数据导出csv格式数据

influxdb中将数据导出csv格式数据命令基本格式为：influx -database ‘database_name’ -execute ‘SELECT * FROM table_name’ -format csv >> test.csv实际操作举例，数据库为：ceshi 表名为：lianxi1、当无密码时，且在本机上执行导出时，命令为：influx -database ceshi -execute 'SELECT * FROM lianxi ’ -format c

原创 redis无法插入数据

Command cannot be issued to a slave: FLUSHDB解决：redis.conf中stop-writes-on-bgsave-error yesyes修改为no重启redis-server，问题解决

原创 hive hbase Insufficient permissions for user ‘hive‘

hive创建hbase关联表，无法关联数据异常hive hbase Insufficient permissions for user 'hive'解决方法：hbase shell登录hbase后、输入：grant ‘hive’,‘RWXCA’回车数据就可以读取出来了解读HBase提供的五个权限标识符：RWXCA,分别对应着READ(‘R’), WRITE(‘W’), EXEC(‘X’), CREATE(‘C’), ADMIN(‘A’)...

原创 在TDH集群外部署flume并通过kerberos认证

1、配置java环境：flume启动需要java环境，需要安装JDK，配置JAVA_HOME，TDH安装包里就有1.7版本的jdkrpm包（transwarp/transwarp/hadoop/jdk目录下），拷过去rpm -i 安装，然后配置环境变量。2、安装flume组件：安装包里有1.6版本的flume rpm包（transwarp/transwarp/hadoop/flume目录下），rpm-ivh flume-1.6.0+43.28791-1.el6.noarch.rpm–nodeps

原创 log4j:ERROR Could not find value for key log4j.appender.INFO

log4j:ERROR Could not find value for key log4j.appender.INFOlog4j:ERROR Could not instantiate appender named "INFO".更换log4j.properties文件即可解决问题# priority :debug<info<warn<error#you cannot specify every priority with different file for log4jl

原创 Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running

docker search 无法使用异常：[root@tdmarco docker]# docker search mysqlCannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?[root@tdmarco docker]# docker imagesCannot connect to the Docker daemon at unix:///var/run

原创 sqoop import No Java type for SQL type -151 for column __28ArchiveTime

[root@node11 ~]# sqoop import --connect 'jdbc:sqlserver://192.xxx.xxx.xxx:1433;username=xxxx;password=xxxx;database=ssws' --driver com.microsoft.sqlserver.jdbc.SQLServerDriver --columns "id,pump_type,_01SystemPressure,_28ArchiveTime,rowkey" -table 'xxx'

原创 TDH-Cient下载不包含lib怎么办

TDH-client下载最新版本没有lib包，这需要重新上传下镜像包，上传成功后，重新下载lib包就会有的。

原创 sqoop import hbase by kerberos安全认证下

2020-07-15 16:30:47,365 ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Can't get Master Kerberos principal for use as renewer at org.apache.hadoop.mapreduce.security.TokenCache.obtainTokensForNamenodesIntern

原创 mysql sqlserver获取时间戳

mysql获取时间戳select unix_timestamp(now()) from dual;sqlserver 获取时间戳select DATEDIFF(ss,'1970-01-01 00:00:00', GETDATE()) sqlserver 字符拼接需要字符类型一致，不然拼接会有问题，内容不显示出来STR(t.id) + STR( DATEDIFF( ss, '1970-01-01 00:00:00', p._28ArchiveTime ) ) AS

原创 TDH Kerberos java client 连接Hyperbase（Hbase）

TDH kerbros java client 连接Hyperbase（Hbase）异常信息SASL authentication failed. The most likely cause is missing or invalid credentials. Consider 'kinit'.注意：这里一定要设置Hadoop的环境变量，如果Hadoop环境变量设置错误，或者没有设置，将会报如下的错误：Caused by: GSSException: No valid credentials pr

原创 windows 搭建hadoop 开发环境 Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

"C:\Program Files\Java\jdk1.8.0_251\bin\java.exe" "-javaagent:E:\Program Files\JetBrains\IntelliJ IDEA Community Edition 2019.3.3\lib\idea_rt.jar=61679:E:\Program Files\JetBrains\IntelliJ IDEA Community Edition 2019.3.3\bin" -Dfile.encoding=UTF-8 -classpat

原创 kerberos认证可以通过keytab文件认证用户

1.获取认证密码klist -kt /etc/hyperbase1/conf/hyperbase.keytab[root@node11 ~]# klist -kt /etc/hyperbase1/conf/hyperbase.keytab Keytab name: FILE:/etc/hyperbase1/conf/hyperbase.keytabKVNO Timestamp Principal---- ------------------- ------------

原创 hbase scan 前缀

scan 'xxx', {FILTER => org.apache.hadoop.hbase.filter.PrefixFilter.new(org.apache.hadoop.hbase.util.Bytes.toBytes('2020-06-03'))}

原创 WARN hdfs.DFSClient: Caught exception

20/07/06 14:11:27 WARN hdfs.DFSClient: Caught exception java.lang.InterruptedException at java.lang.Object.wait(Native Method) at java.lang.Thread.join(Thread.java:1281) at java.lang.Thread.join(Thread.java:1355) at org.apa

原创 sqoop Streaming result set com.mysql.jdbc.RowDataDynamic is still active

2020-07-06 11:20:56,735 ERROR manager.SqlManager: Error reading from database: java.sql.SQLException: Streaming result set com.mysql.jdbc.RowDataDynamic@7a2bfad9 is still active. No statements may be issued when any streaming result sets are open and in us

原创 CentOS下sqoop安装及使用，关系型与HDFS/Hbase数据交换

CentOS下sqoop安装1.在官网找到适合 hadoop2.X 的sqoop进行下载2.输入 mkdir /usr/local/sqoop 建立sqoop目录3.将下载好的tar包放到该目录4.进入该目录，输入解压命令，解压tar包5.输入 mv sqoop-1.4.6.bin_...

原创 获取mysql-connect-java-5.1.7-bin.jar方法

https://downloads.mysql.com/archives/c-j/

原创 数据湖架构图

转载 梯度下降法的全面讲解及python实现

函数的梯度方向表示了函数值增长速度最快的方向，那么和它相反的方向就可以看作函数值减少速度最快的方向。就机器学习模型优化的问题而言，当目标设定为求解目标函数最小值时，只要朝着梯度下降的方向前进就能不断逼近最优值。最简单的梯度下降算法—固定学习率的方法，这种梯度下降算法...

原创 Ubuntu18.04/19.10升级至20.04

Ubuntu18.04/19.04升级至20.04 怎样升级为Ubuntu最新的版本，本文为Ubuntu18.04和19.10升级为Ubuntu20.04的教程。当然也适用于其他版本的升级。第一步：Go to Software & Updates: And under the Updates tab, make sure that Notify me of a new Ubuntu version is set toAny new version (if you want to upgr.

原创 GitLab服务器重新设置IP后无法访问

GitLab服务器重新设置IP后无法访问修改IP后，需要重启服务器reboot然后问题解决

原创 Ubuntu18.04必要安装的软件

1.更新源找到Software & Updates，将源更新为阿里云的源 在Other Software里将Canonical Partners勾上。 然后自己手动更新一下：sudo apt updatesudo apt upgrade 2.Sougou Pinyinsudo apt-get install fcitx-bin #安装fcitx-binsudo apt-get update --fix-missing #修复fcitx-bin安装失败的情况su

原创 Ubuntu16.04下联想R720的无线网卡开启问题及信号不稳定

问题一1.1 问题描述笔记本型号：Lenovo r720笔记本（i5-7300hq，gtx1060 maxq 6g），默认装入Win10系统，然而当装入Ubuntu16.04双系统时，会出现无线网卡（型号：RTL8821AE）被hard blocked问题。即：在终端敲入：rfkill list all会出现：Soft blocked: noHard blocked:yes1:ideapad_bluetooth: BluetoothSoft blocked: noHard blocke

原创 kettle教程，简单插入与更新

本文要点：Kettle的建立数据库连接、使用kettle进行简单的全量对比插入更新：kettle会自动对比用户设置的对比字段，若目标表不存在该字段，则新插入该条记录。若存在，则更新。 Kettle简介：Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle这个ETL工具集，它允许你管理来自不同数据...

原创 fatal error: Python.h: No such file or directory

在ubuntu16.04 下安装python的 netifaces包时遇到fatal error: Python.h: No such file or directory问题首先查看/user/include/python2.x目录，是否包含Python.h，如果有的话可能是python版本不对如果没有的话，需要安装python-dev包sudo apt-get install python-dev...

原创 Influxdb内存占用问题跟踪

This leak seems to have been introduced in 8aa224b,present in 1.1.0 and 1.1.1.When points were parsed from HTTP payloads, their tags and fieldsreferred to subslices of the request body; if any tag set introduced anew series, then those tags then were

原创 Influxdb的retention policy

基本概念 DURATION：这个描述了保留策略要保留多久的数据。这个机制对于时序型的数据来讲，是非常有用的。SHARD：这个是实际存储influxdb数据的单元。每个shard保留一个时间片的数据，默认是7天。如果你保存1年的数据，那么influxdb会把连续7天的数据放到一个shard中，使用好多个shard来保存数据。SHARD DURATION：这个描述了每个shard存放多数据的时间片是多大。默认7天。需要注意的是，当数据超出了保留策略后，influxdb并不是按照数据点的时间一点一点删除.

原创 Mysql修改密码

第一种方式：最简单的方法就是借助第三方工具Navicat for MySQL来修改，方法如下：1、登录mysql到指定库，如：登录到test库。2、然后点击上方“用户”按钮。3、选择要更改的用户名，然后点击上方的“编辑用户”按钮。4、出现如图界面，输入新密码，并确认新密码，点击“保存”按钮即可。   第二种方式： 方法1： 用SET PASSWORD命令    首先登录MySQL。&n...

原创 ubuntu16.04安装node.js、npm

ubuntu16.04安装node.js、npm1.请尽量避免在 Ubuntu 上使用 apt-get 来安装 node.js, 如果你已经这么做了，请手动移除：sudo apt-get purge nodejs && sudo apt-get autoremove && sudo apt-get autoclean2.使用以下命令安装 NVM（通过NVM安装node.js）：curl -o- https://raw.githubusercontent...

原创 python mysql_config: not found

pip3 install mysqlclient 报错 “/bin/sh: 1: mysql_config: not found”的解决方法执行 sudo apt-get install libmysqlclient-dev，然后执行 pip3 install mysqlclient

原创 influxdb基本操作

influxdb基本操作 InfluxDB是一款优秀的时间序列数据库，适合存储设备性能、日志、物联网传感器等带时间戳的数据。能轻松处理高写入和高查询负载（数据采集与数据可视化非常常见的场景）。具体介绍请参阅InfluxDB官方文档：https://docs.influxdata.com/influxdb/。 下...

原创 Linux查看CPU和内存的配置信息

Linux查看CPU和内存的配置信息 CPU配置信息：frank@ubuntu:~/test/python$ cat /proc/cpuinfo processor : 0 #系统中逻辑处理核的编号 vendor_id : GenuineIntel #CPU制造商 cpu fami...