- 博客(69)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 怎么给github / gitee仓库里的readme.md添加图片呢？
首先！我们肯定知道markdown添加图片的语法[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-o1u5jUd1-1623980869450)(图片地址)]1既然是要传到网上， 所以肯定不能用本地地址，你得用网图。你不值得为了一个配图再去特意弄个图床（你愿意这么搞我也没办法。所以最简单的就是直接在你仓库里放图就可以啦。图片放进仓库里然后地址如下：gitee：https://gitee.com/用户名/仓库名/raw/分支/图片文件地址/图片名github：http
2021-06-18 09:48:21
2508
原创 Ubuntu:使用cd命令后直接自动ls
修改～/.bashrcvim ~/.bashrc然后在里面加入下面的代码cdls() { cd "${1}"; ls; } alias cd='cdls' 保存退出后source ~/.bashrc
2021-02-20 22:16:09
2412
原创 Kafka学习笔记
一、kafka架构Broker相当于服务器；Follower是Leader的副本，两者在不同机器；生产者和消费找的是leader；1.消费者a.一个Topic的一个分区，在同一时间内，只能被消费者组中的一个消费者使用，但是可以同时被不同消费者族的消费者使用;b.消费者保存消费信息在kafka中二、基本命令行命令1.查看服务器中的topickafka-topics.sh --zookeeper kafka1:2181 --list2....
2021-02-19 21:41:57
174
3
原创 使用kafka自带的命令无法关闭kafka解决办法
修改 kafka-server-stop.sh 脚本注释掉原来的那一行（#kill -s $SIGNAL $PIDS），增加新的一行kill -s KILL $PIDS
2021-01-31 23:17:00
219
原创 python之bytes和string
1、bytes主要是给在计算机看的，string主要是给人看的2、中间有个桥梁就是编码规则，现在大趋势是utf83、bytes对象是二进制，很容易转换成16进制，例如\x644、string就是我们看到的内容，例如’abc’5、string经过编码encode，转化成二进制对象，给计算机识别6、bytes经过反编码decode，转化成string，让我们看，但是注意反编码的编码规则是有范围,\xc8就不是utf8识别的范围7、实例：import hashlib#字节对象bb = b"ex
2021-01-04 21:52:15
248
1
原创 happybase操纵hbase
一、表操作import happybase# 连接数据库connection = happybase.Connection(host='hostname', port=9090)# 查询所有表table_name_list = connection.tables()# 建表families = { 'user_info': dict(), 'history': dict()}connection.create_table('table_name', families)# 删
2020-12-13 22:41:16
283
原创 happybase thriftpy2.transport.TTransportException: TTransportException(“Could not connect to(9090)问题
一、用python使用happybash库连接hbase，出现异常thriftpy2.transport.TTransportException: TTransportException(type=1, message=“Could not connect to (‘localhost’, 9090)”)二、原因因为hbase是java编写的，用python就需要打开hbase的thrift接口服务器hbase thrift start-port:9090注意：启动服务之后不会出现命令输入行
2020-12-13 22:05:11
1987
原创 zookeeper 集群搭建
一、解压zookeeper二、进入${ZK_HOME}/conf目录，进行以下操作cp zoo_sample.cfg zoo.cfgvim zoo.cfg修改 zoo.cfg，将里面的xxx.xxx.xxx.xxx替换为ZK节点ip# The number of milliseconds of each ticktickTime=2000# The number of ticks that the initial # synchronization phase can takeinit
2020-12-13 21:45:35
80
原创 搭建HBase分布式集群
一、将hbase解压tar -zxvf hbase的tar包位置 -C 要解压的位置二、修改配置文件1.修改${HBASE_HOME}/conf下 hbase-site.xml<configuration><property><name>hbase.zookeeper.quorum</name><value>hadoop01,hadoop02,hadoop03</value><!--指定Zookeeper
2020-12-13 21:38:43
162
原创 Exception in thread “main“ java.lang.NoSuchMethodError: org.apache.hadoop.hbase.client.HBaseAdmin
使用sqoop1.4.6从mysql5.7向hbase2.2.5导入数据出现错误：Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.hbase.client.HBaseAdmin解决因为hbase版本太高啦，把一个低本的hbase的lib目录下的jar包，复制到 ${SQOOP_HOMR}/lib，就可以了我复制的是hbase1.6.0的，测试可用...
2020-12-08 20:41:58
9440
15
原创 解决SSH登录时出现Warning: Permanently added告警问题
问题:hbase0slave01: Warning: Permanently added the ECDSA host key for IP address 'xxx.xxx.xxx.xxx' to the list of known hosts.解决办法：创建~/.ssh/config 文件vim ~/.ssh/config在文件中输入下面内容：UserKnownHostsFile ~/.ssh/known_hosts...
2020-12-08 19:35:28
50289
4
原创 sqoop javax.net.ssl.SSLException: closing inbound before receiving peer‘s close_no
直接禁用ssl就可：sqoop list-databases --connect jdbc:mysql://172.17.0.2:3306/?useSSL=false --username root -P
2020-12-06 11:23:47
416
原创 Permission denied: user=dr.who, access=READ_EXECUTE, inode=“/tmp“:root:supergroup:drwx-wx-wx
问题：Permission denied: user=dr.who, access=READ_EXECUTE, inode="/tmp":root:supergroup:drwx-wx-wx原因：权限不够解决办法：root@master:/usr/local/hadoop# hdfs dfs -chmod -R 755 /tmp
2020-12-05 23:32:03
485
转载 Attempting to operate on hdfs namenode as root
在/hadoop/sbin路径下：将start-dfs.sh，stop-dfs.sh两个文件顶部添加以下参数#!/usr/bin/env bashHDFS_DATANODE_USER=rootHADOOP_SECURE_DN_USER=hdfsHDFS_NAMENODE_USER=rootHDFS_SECONDARYNAMENODE_USER=root还有，start-yarn.sh，stop-yarn.sh顶部也需添加以下：#!/usr/bin/env bashYARN_RESOURC
2020-12-05 22:58:39
367
原创 SSH无密钥配置和配置公钥后仍需要输入密码的解决方案
如果A将公钥拷贝到B，但是A登陆B仍然需要输入密码，此时应当修改B主机的配置文件。(1)打开sshd_config配置文件sudo vi /etc/ssh/sshd_config2)修改配置如下#禁用root账户登录，如果是用root用户登录请开启 PermitRootLogin yes # 是否让 sshd 去检查用户家目录或相关档案的权限数据， # 这是为了担心使用者将某些重要档案的权限设错，可能会导致一些问题所致。 # 例如使用者的 ~.ssh/ 权限设错时，某些特殊情况下会不许用
2020-12-05 09:22:30
401
原创 Starting sshd: /var/empty/sshd must be owned by root and not group or world-writable.
Starting sshd: /var/empty/sshd must be owned by root and not group or world-writable. [FAILED]这个是权限的问题可采取以下两步解决chown -R root.root /var/empty/sshdchmod 744 /var/empty/sshdservice sshd restart就可以解决上述的问题转载于:https://www.cnblogs.com/felixzh/p/101800
2020-12-05 00:05:18
294
原创 报错 com.mongodb.MongoSocketOpenException: Exception opening socket
在Java里连接mongo报com.mongodb.MongoSocketOpenException: Exception opening socket解决：修改/etc/mongodb.conf将bind_ip 修改为 bin_ip = 0.0.0.0然后启动mongo服务的时候这个配置文件加上：/usr/bin/mongod --dbpath /data/db/ --config /etc/mongodb.conf就这样启动，然后再用java连接就没问题了...
2020-12-01 22:59:44
674
原创 Ubuntu下修改docker 镜像存储位置并进行数据迁移
默认情况下docker的镜像和容器都是保存在/var/lib/docker下面可以通过du -h --max-depth=1 /var/lib/docker查看文件夹大小的方式来确认文件夹内是不是有镜像（如有那么一般会很大）。方法1：然后在将这个文件夹拷贝到新的地方（比如说更大的硬盘上，假设是/data分区，它挂载在一个单独硬盘上）：sudo cp -r /var/lib/docker /data/docker然后修改docker中默认镜像和容器的保存位置。sudo vim /etc/
2020-12-01 22:32:37
1796
原创 关于Jedis连接Linux上的redis出现 DENIED Redis is running in protected mode问题的解决方案
关于Jedis连接Linux上的redis出现 DENIED Redis is running in protected mode问题的解决方案
2020-12-01 11:46:57
60
原创 jupyter使用pyspark 启动 env:/usr/local/python3/bin: Permission denied
修改~/.bashrc文件，添加下面两条export PYSPARK_PYTHON=/home/Python-3.6.3/bin/python3export PYSPARK_DRIVER_PYTHON=/home/Python-3.6.3/bin/python3如果还不行，就修改 spark目录下的conf/spark-env.sh文件,把上面的两行代码加进去...
2020-11-28 09:05:38
684
原创 org.apache.spark.api.python.PythonUtils.isEncryptionEnabled does not exist in the JVM
这个错误直接在代码最开头添加：import findsparkfindspark.init()这两句即可解决
2020-11-28 08:59:46
3501
4
原创 AttributeError: ‘PipelinedRDD‘ object has no attribute ‘toDF‘
错误如题目解决办法：from pyspark.sql.session import SparkSessionspark = SparkSession(括号里是你的SparkContext对象)
2020-11-27 09:47:31
1276
原创 eclipse用Java操作Hbase运行后出现 拒绝连接 错误
错误截图没有，因为我是解决了错误过来的把Hbase文件夹下conf目录里的hbase-site.xml复制到eclipse的工程里，然后在自己使用的机器里，修改 /etc/hosts 文件，把Zookeeper中设置的一堆主机Id和主机名都添加进取，再次运行就可以啦！...
2020-11-23 22:34:51
844
原创 org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.AlreadyBeingCreatedException):
错误：org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.AlreadyBeingCreatedException): Failed to APPEND_FILE /user/root/aaaa.txt for DFSClient_NONMAPREDUCE_-832332576_1 on 172.17.0.1 because DFSClient_NONMAPREDUCE_-832332576_1 is already t
2020-11-22 21:02:04
2133
原创 ERROR 1064 (42000): You have an error in your SQL syntax； check the manual that corresponds to your
配置mysql 8.0.19允许hive接入：grant all on . to hive@localhost identified by ‘hive’;报错：ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near ‘identified by hive
2020-11-20 22:03:34
3197
1
原创 MapReduce程序的Type mismatch异常处理方法
Type mismatch in key from map: expected org.apache.hadoop.io.Text, received org.apache.hadoop.io.Lon这个异常是因为你的 map函数和reduce函数调用了它们的父类，将那个语句删除就ok啦
2020-11-09 20:53:55
535
原创 java泛型（泛型接口、泛型类、泛型方法）
泛型接口：定义一个泛型接口：通过类去实现这个泛型接口的时候指定泛型T的具体类型。指定具体类型为Integer：指定具体类型为String:指定具体类型为一个自定义的对象：泛型类：在编译器，是无法知道K和V具体是什么类型，只有在运行时才会真正根据类型来构造和分配内存。泛型方法：引用其他人写的，觉得不错：定义泛型方法时，必须在返回值前边加一个，来声明这是一个泛型方法，持有一个泛型T，然后才可以用泛型T作为方法的返回值。Class的作用就是指明泛型的具体类型，而Class类型的变量
2020-08-30 22:37:09
104
原创 【递归+记忆搜索C++】P1464 Function
题目：https://www.luogu.com.cn/problem/P1464?contestId=30130思路：记忆化搜索，其实跟暴力搜索差不多，就是把得到的每一个答案都存起来，再次用到的时候直接使用就可以了。这个题也是这个意思，把已经求出的结果存起来，用到时直接用，不用再计算上代码：#include<iostream>#include<cstring>#include<algorithm>#include<cmath>#inclu
2020-05-24 23:00:19
250
原创 【贪心算法c++】---P2782 友好城市
题目：题目地址：https://www.luogu.com.cn/problem/P2782思路：这个题乍一看没有啥规律，但是我们做多了贪心的问题就知道，这样的问题是可以转换成区间问题的，我们输入a和b，把小的一个当做左端点，另一个当做右端点，然后按照右端点从小到大排序，满足什么样的条件才可以把答案加1呢？举个简单的例子2 5 81 3 71和2连接，3和5连接，是不是3>1和5>2，只要满足这样的一个条件就行啦上代码：#incl
2020-05-17 19:44:17
495
原创 【动态规划C++】---1259：求最长不下降序列
信息学奥赛一本通原题链接：http://ybt.ssoier.cn:8088/problem_show.php?pid=1259思路：每到一个数，就从这个数开始往前找比它小的数，这样到这个数的长度就是比它小的数的长度+1，找出其中长度最大的记录下来就好了最后输出的时候，我们就从拥有最大长度的那数开始往前输出（我是先存入栈，再从栈里输出），具体看代码吧！上代码：#include<iostream>#include<cstring>#include<algorith
2020-05-08 21:01:07
410
原创 【动态规划c++】---P1002 过河卒
题目：落谷的P1002题：https://www.luogu.com.cn/problem/P1002思路：最开始我用的是深搜算法，但是提交后发现超时了，改用的DP。到达某一个位置所需要的方法为：DP[i][j] = DP[i-1][j] + DP[i][j-1]这个公式不需要推，大家自己验证一下就可以啦！当然还是有点细节要处理，就是DP[i][j]不可以是马的位置以及马控制点的位置...
2020-05-03 21:05:58
373
转载 错排公式
问题：现有10本书按照顺序摆放，现要求重新排列，使得新的书的顺序中每一本书都不在原来的位置，求有多少种排列方式？这个问题推广一下，就是错排问题，是组合数学中的问题之一。考虑一个有n个元素的排列，若一个排列中所有的元素都不在自己原来的位置上，那么这样的排列就称为原排列的一个错排。 n个元素的错排数记为D(n)。 研究一个排列错排个数的问题，叫做错排问题或称为更列问题OK，现在详细分析这个问题，我...
2020-05-02 21:42:23
133
原创 手动添加python第三方库并在pycharm中使用（解决pycharm无法安装库的问题）
方法真是不要太简单了第一步：在你的pycharm的安装包下搜索pip第二步：在地址栏输入cmd第三步：输入 pip -V 检查pip的版本，出现下面的版本就说明可以使用第四步：安装你需要包，pip install 你需要的包名第五步：打开pycharm直接import引用！！！...
2020-04-30 23:15:23
1563
原创 【二分算法C++】---P1824 进击的奶牛
题目描述Farmer John建造了一个有N(2<=N<=100,000)个隔间的牛棚，这些隔间分布在一条直线上，坐标是x1,…,xN (0<=xi<=1,000,000,000)。他的C(2<=C<=N)头牛不满于隔间的位置分布，它们为牛棚里其他的牛的存在而愤怒。为了防止牛之间的互相打斗，Farmer John想把这些牛安置在指定的隔间，所有牛中相邻两头的...
2020-04-19 17:49:59
1034
1
原创 【数学算法c++】---1111.有效括号的嵌套深度
题目：题目链接：https://leetcode-cn.com/problems/maximum-nesting-depth-of-two-valid-parentheses-strings/因为这个题的题目有点太绕了，简单点就是把这个括号们分成两组，让这个两组，使max(depth(A), depth(B)) 的可能取值最小。思路：怎么使max(depth(A), depth(B)) 最...
2020-04-02 20:12:20
440
原创 【递归算法c++】---1161.最大层内元素和
题目：给你一个二叉树的根节点 root。设根节点位于二叉树的第 1 层，而根节点的子节点位于第 2 层，依此类推。请你找出层内元素之和 最大 的那几层（可能只有一层）的层号，并返回其中 最小 的那个。 1 / \ 7 0 / \ 7 -8 输入：[1,7,0,7,-8,null,null]输出：2解释：第 1 层各元素之和...
2020-04-02 19:48:22
167
原创 【快排算法c++】---912.排序数组
题目：给你一个整数数组 nums，请你将该数组升序排列。示例 1：输入：nums = [5,2,3,1]输出：[1,2,3,5]示例 2：输入：nums = [5,1,1,2,0,0]输出：[0,0,1,1,2,5]提示：1 <= nums.length <= 50000-50000 <= nums[i] <= 50000来源：力扣（LeetCode）...
2020-03-31 20:25:19
248
原创 【递归算法c++】---约瑟夫环 62.圆圈中最后剩下的数字
题目：0,1,n-1这n个数字排成一个圆圈，从数字0开始，每次从这个圆圈里删除第m个数字。求出这个圆圈里剩下的最后一个数字。例如，0、1、2、3、4这5个数字组成一个圆圈，从数字0开始每次删除第3个数字，则删除的前4个数字依次是2、0、4、1，因此最后剩下的数字是3。示例 1：输入: n = 5, m = 3输出: 3示例 2：输入: n = 10, m = 17输出: 2限制：...
2020-03-31 18:59:15
273
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人