- 博客(648)
- 资源 (6)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 sqoop Error: jSQLException in nextKeyValue Caused by: ORA-24920:column size too large for client
问题在使用sqoop导入Oracle数据时，报错如下：INFO mapreduce.Job: Task Id : attempt_1646802944907_15460_m_000000_1, Status : FAILEDError: java.io.IOException: SQLException in nextKeyValue at org.apache.sqoop.mapreduce.db.DBRecordReader.nextKeyValue(DBRecordReader.
2022-05-04 22:14:37
2189
1
原创 kafka日志分段（.log文件）及日志文件索引机制（偏移量索引、时间戳索引）
Kafka版本：2.2.1环境：CDH日志分段(segment)格式在kafka数据存储的目录下，进入topic文件目录，可以看到多个文件，如下，从文件名可以看出，.log、.index、.timeindex文件一一对应：-rw-r--r--. 1 kafka kafka 245432 Feb 25 13:01 00000000000000000000.index-rw-r--r--. 1 kafka kafka 909769306 Feb 25 11:31 0000000000000.
2022-03-01 15:46:29
5025
1
原创 crontab定时任务内容消失
问题之前添加了几个定时任务，某天早上来的时候，发现定时任务没有了，就很奇怪和懵逼解决经过上网查资料以及测试，最终复现了可能导致上面问题的操作复现过程打开一个新的session随便往crontab里面加几条定时任务，保存并退出输入命令crontab并回车关掉session然后再打开crontab，就会发现里面的定时任务都没有了...
2022-02-21 10:21:33
3026
5
原创 Kafka提示：Note: This will have no impact if delete.topic.enable is not set to true.
问题执行topic删除命令时，出现提示Topic test is marked for deletion.Note: This will have no impact if delete.topic.enable is not set to true.这条命令其实并不执行删除动作，仅仅是在zookeeper上标记该topic要被删除而已，同时也提醒用户一定要提前打开delete.topic.enable开关，否则删除动作是不会执行的解决在server.properties中设置delete.
2022-02-11 18:15:59
5152
原创 dbeaver导入sql脚本报错：unhandled event loop exception java heap space
问题使用dbeaver连接MySQL数据库，在通过sql脚本插入数据，或将插入语句复制到SQL编辑器时，如果插入的数据过大，会报如下错误unhandled event loop exceptionjava heap space如下图：点击确认后，如下提示：解决初始安装完成dbeaver时，会设置一个初始内存，在安装目录下的dbeaver.ini文件中：其中**-Xms表示最小内存，-Xmx表示最大内存，-Xmx1024m**表示最大内存为1024M，这里可以根据自己的机器进行合适的
2022-01-19 13:46:13
7943
原创 Sqoop拉取数据到hive数据库的Parquet格式分区表
Sqoop拉取数据到hive数据库的Parquet格式分区表问题sqoop拉取语句查询结果解决Hcatalogsqoop使用Hcatalog参数参数解释问题在使用sqoop拉取数据到hive数据库时，如果hive中的表是parquet格式的分区表，那么虽然显示拉取数据成功，但查询数据时会出问题sqoop拉取语句/opt/cloudera/parcels/CDH/bin/sqoop import \--username xxxx \--password 'xxx' \--connect "jd
2022-01-14 14:52:48
2038
原创 redis：安装，测试，配置开机自启，配置主从模式
1. 下载下载地址：https://redis.io/download2. 安装安装gcc环境redis是由C语言编写的，运行需要C语言环境yum install gcc-c++上传安装包并解压tar xvzf redis-stable.tar.gzcd redis-stable编译安装make#make install 可用可不用 这个操作是将可执行文件拷贝到系统的/usr/local/bin官方参考文档https://redis.io/topic
2021-11-01 17:48:24
104
原创 C++_Impala_UDF：使用C++编写impala自定义函数（UDF）环境搭建
1. 安装cmake1.1 下载下载链接：https://cmake.org/download/选择已编译好的版本进行安装1.2 安装上传安装包到服务器并解压配置环境变量export PATH=/home/xxx/cmake-3.21.3-linux-x86_64/bin:$PATH1.3 验证验证是否安装成功[root@xxxx xxxx]# cmake --versioncmake version 3.21.3CMake suite maintained and su
2021-09-30 16:17:32
1045
原创 MySql中的=和＜=＞运算符，hive中的=和＜=＞运算符
1、Mysql在mysql中，比较两个值是否相等，可以直接使用“=”运算符：#执行语句select 1=1;#运行结果1#执行语句select 1=0；#运行结果0可以看出，在使用“=”运算符进行判断时，如果两者相等则返回1，不相等则返回0但是在判断两个null值时，结果却不是预期的#执行语句select 1=null#执行结果null#执行语句select null=null#执行结果null可以看出，在使用null进行判断时，操作.
2021-07-19 10:21:18
1355
原创 Linux 解决nohup: 忽略输入并把输出追加到“nohup.out“和nohup: 忽略输入重定向错误到标准输出端
1、直接执行文件nohup ./test.sh出现提示： 忽略输入并把输出追加到"nohup.out"并将输出结果输入到默认文件nohup.out中2、将标准输出内容重定向到文件nohup ./test.sh > a.txt出现提示： nohup: 忽略输入重定向错误到标准输出端输出结果输出到指定文件a.txt中3、将标准错误输出重定向到文件nohup ./test.sh > a.txt 2>&1 &无提示...
2021-07-14 16:20:53
17662
原创 Linux脚本执行：直接执行，使用&后台执行，使用nohup运行脚本
在远程服务器上执行脚本的时候碰到的问题，上网查了一下，做个笔记一、直接执行脚本1、执行结果输出到当前终端界面2、使用CTRL+C组合键可直接关闭程序3、关闭当前session（远程连接的会话终端），程序关闭二、使用&后台运行脚本1、执行结果输出到当前终端界面2、使用CTRL+C组合键无法关闭程序3、关闭当前session（远程连接的会话终端），程序关闭三、使用nohup运行脚本1、执行结果输出到指定文件nohup.out中2、使用CTRL+C组合键可直接关
2021-07-14 15:37:19
909
原创 Linux Shell脚本查询数据按行保存到数组，不以空格进行分割
问题：在使用shell写脚本时，将某些查询结果写入数组中，但是每一行查询结果都有空格，而保存在数组中时会使用空格作为分隔符，得到的结果并不是想要的。解决：在将数据保存在数组之前，设置默认分隔符为换行IFS=$'\n'：IFS=$'\n'system_status=(`tail -n 10 ${log_name}|awk '{print $0}'`)IFS=$OIFSIFS=$OIFS为将分隔符改回默认分隔符...
2021-07-13 16:08:38
2288
原创 Linux 下使用CTRL+S后，输入无反应，界面锁定处于假死状态
问题：在Linux的命令行界面，不小心使用了CTRL+S组合键，后面不管按什么都没有输入没有反应。原因：在Linux下，CTRL+S组合键是进行锁屏，键盘进行的输入也是存在的，只是没有显示解决：使用CTRL+Q推出锁屏，这时候就退出锁屏了，且前面键盘输入的内容也显示了出来...
2021-07-12 13:41:42
1971
原创 window10 配置环境变量不生效
今天碰到一个比较有意思的问题问题：配置了环境变量，但执行命令时，仍然找不到命令解决：如果命令行窗口，是在添加环境变量之前打开的，那么在添加环境变量之后，命令行窗口读不到新设置的环境变量，需要打开新的命令行窗口...
2021-07-05 16:11:39
1847
原创 VS C++ RuntimeError:can not open CFlow file in line 257 of file ..\..\source\riskuserapi\Ftdc……
问题：拷贝过来的一个项目，编译的时候没有问题，运行的时候出现这样的错误：RuntimeError:can not open CFlow file in line 257 of file ..\..\source\riskuserapi\FtdcRiskUserApiImplBase.cpp解决：某一个访问文件的路径名写错了，还是之前的路径名，在自己的电脑上并没有这个路径，修改为自己电脑上的路径，即可正常运行。...
2021-07-01 11:12:37
1131
1
原创 python 安装pywin32之后运行报错：“import win32api ImportError: DLL load failed: 找不到指定的模块。”
环境：python版本：3.7.4安装pywin32命令：pip install pywin32==300问题：pywin32an
2021-06-17 13:33:38
4418
2
原创 C++函数默认参数报错error: default argument given for parameter 4....
问题：C++在写函数默认参数时，报错：error: default argument given for parameter 4 of 'std::__cxx11::string replace(std::__cxx11::string, std::__cxx11::string, std::__cxx11::string, int)'
2021-06-01 14:42:46
7608
原创 C++ VScode 自定义头文件报错，undefined reference to std::__cxx11::
问题：使用VScode写C++，自定义了头文件，编译时一直报错，错误信息如下：e:/Project/VSCODE/C++/library/test.cpp:7: undefined reference to `sssp(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >, char)'collect2.exe: error: ld returned 1
2021-06-01 13:09:37
5123
原创 VS2017 C++头文件 PCH警告：头停止点不在文件范围内。未生成intelliSense PCH文件
问题：在用VS2017写头文件时，出现的这个错误解决：
2021-05-28 15:51:28
8364
原创 python Htmlssion 抓取标签抓取失败，抓取到的内容为空
问题：使用python进行网页内容抓取时，标签明明存在，但抓取下来的内容总是为空，网页结构如下：解决：检查好久，觉得是不是上面的<script>标签的原因打开<script>标签一看，果然，<a>标签是由<script>标签中，document.write()方法填充的可能是由于这个原因导致的，因此后面就直接抓取<script>标签，然后根据里面的逻辑进行了解析...
2021-05-25 17:12:11
611
原创 python os.popen()模拟命令行操作mysql
问题：不想使用python某些模块通过，并且数据库也为本机数据库，可以通过命令行直接操作，因此想到使用python 的os.system() 或者 os.popen() 模拟命令行的操作解决：命令结构：mysql -u 'username' -p'password' -e'sql-query'例如本机mysql 的用户名为：root，密码为：root则前半段连接数据库的命令为：mysql -u root -proot这里要注意，-p 和密码root之间是没有空格的，如果添
2021-05-21 10:37:58
546
原创 Windows cmd 进入其他盘
问题：之前在cmd里进入其他D盘、E盘都很正常，突然之间就不行了，仔细检查了下，发现是自己健忘加愚蠢造成的cmd 进入其他磁盘的两种命令：1、直接想要进入的盘符，加上冒号就可以2、使用cd 命令，需要在中间添加 /d，再加上想要进入的盘符，再加上冒号几个错误示例：1、直接盘符的方式，忘记冒号2、cd 的方式忘记加冒号总结平时用的时候都是靠的手熟，没有仔细往脑子里记，一旦打错了，反而记不起该怎么写了...
2021-05-21 10:01:28
8988
原创 SQL（MySQL，SQL Server）更新表——用一张表的部分字段数据更新另一张表
事件：写MySQL语句时，想要实现“使用某一张表中的字段值，更新另一张表中的字段值”的功能两张表结构如下：t1表：t2表：查询资料后，写出如下语句：update t1set aaa=t2.aaafrom t2where bbb=t2.bbb;执行后报错：1064 - You have an error in your SQL syntax; check the manual that corresponds to your MySQL server vers
2021-05-12 14:02:35
2793
原创 MySQL——ERROR 1064 (42000): You have an error in your SQL syntax； check the manual that corresponds……
问题：很久没用Mysql了，写了以下建表语句，发现报出如下错误：ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near ')' at line 1解决：写建表语句时，对于表名和变量名，既不能使用单引号，也不能使用双引号要么什么也不用，要.
2021-05-11 10:06:47
2007
原创 python——获取当前文件路径
1、os.getcwd():os.getcwd()不需要参数os.getcwd()获取的是当前工作的路径，也就是脚本运行的地方，而不是脚本本身所存在的地方代码：print(os.getcwd())测试结果：2、os.path.abspath():os.path.abspath()需要提供一个参数若指定的参数是 "."（获取当前目录），r".."（获取当前目录的上级目录），则获取的是工作路径若给定的参数是文件路径，则返回文件路径，包含文件名若要获得所在文件的文件.
2021-04-23 09:57:50
27666
原创 python——异常处理
1、try...except...else:try: ..... .....except Exception_name: ..... .....else: ..... .....其中，try后面的代码为可能出现异常的代码except 后面紧跟的Exception_name为异常名称，这个一般为系统定义，后面的代码为异常时执行的代码else部分表示try部分正常执行时，要执行的代码当对try中的代码段可能抛出哪种异常不确定时，可以使用多
2021-04-20 23:22:45
277
3
原创 python——类的成员变量的getter方法和setter方法
前言：在面向对象编程的过程中，为了保证的数据的安全性，以及面向对象的封装特性，部分成员变量会被设置为私有属性私有变量在进行取值或者赋值时，往往是在类中定义getter和setter两种成员方法，通过这两种方法对私有变量进行操作getter：在python中的getter方法使用@property修饰getter方法的方法名与相对应的属性名一致，如下面代码示例：class TestName: def __ini__(self): self._name = "
2021-04-20 21:56:11
3655
原创 python——类、数据成员、私有属性
一、定义类python定义类和其他语言类似，使用class关键字，具体格式如下：class ClassName: ...... ......二、成员变量类的成员变量分为类属性和实例属性python类的实例属性，直接在__ini__函数里定义即可，__ini__函数是一个特殊的函数，是类的初始化函数或者说构造函数，在类创建实例的时候调用python类的类属性时在__ini__函数之外定义的，且不在其他函数中，类属性在所有实例之间共享class ClassName
2021-04-19 23:37:26
466
原创 python——import和from...import *的区别
建立一个测试模块 Test.py：#Test.pydef fun(): print("h")import:使用import导入模块时，如果使用模块中的函数或成员，需要先添加模块的名字import TestTest.fun()from...import:使用from...import导入模块中指定的函数或成员，在调用时，不需要添加模块的名字from Test import funfun()from...import *:使用from...impor.
2021-04-19 23:10:02
274
原创 宏定义报错:error: expected a statement
问题:好久不用宏定义,今天突然用到了,却报了个错代码:#define U 0.1;#define rho 1.;#define tau 0.53;报错:test.cpp(275): error: expected a statement解决:很简单,设置宏定义时,不能使用分号(;),分号会包含在定义中,在替换时也会带有分号解决也很简单,去掉分号代码:#define U 0.1#define rho 1.#define tau 0.53...
2020-11-19 11:08:34
5127
原创 CUDA nvprof进行性能分析相关问题解决措施
问题一: Warning: The user does not have permission to profile on the target device. See the following link for instructions to enable permissions and get more information: https://developer.nvidia.com/NVSOLN1000原因:出现这个问题的原因是nvidia的nvpp和nvprof不再支持non.
2020-11-16 22:28:08
2422
原创 CUDA “Unable to profile application. The application being profile returned a non-zero return code“
1、使用CUDA可视化性能分析工具NVVP时，选择new session，出现下面界面2、在File一栏导入文件，这里我导入的是源代码文件，.cu文件，点击next，点击Finish，出现错误Unable to profile application. The application being profile returned a non-zero return code3、原因：应该导入编译后的exe文件，重新导入，成功...
2020-11-11 14:00:29
1169
4
原创 209.（126）最长连续序列
题目描述：给定一个未排序的整数数组，找出最长连续序列的长度。要求算法的时间复杂度为O(n)。示例:输入:[100, 4, 200, 1, 3, 2]输出: 4解释: 最长连续序列是 [1, 2, 3, 4]。它的长度为 4。思路：用哈希表存储每个端点值对应连续区间的长度 若数已在哈希表中：跳过不做处理 若是新数加入： 取出其左右相邻数已有的连续区间长度 left 和 right 计算当前数的区间长度为：cur_length = left + right + 1 ..
2020-10-21 12:42:15
72
原创 208.（867）转置矩阵
题目描述：给定一个矩阵A，返回A的转置矩阵。矩阵的转置是指将矩阵的主对角线翻转，交换矩阵的行索引与列索引。示例 1：输入：[[1,2,3],[4,5,6],[7,8,9]]输出：[[1,4,7],[2,5,8],[3,6,9]]示例 2：输入：[[1,2,3],[4,5,6]]输出：[[1,4],[2,5],[3,6]]提示：1 <= A.length<= 10001 <= A[0].length<= 1000思路：1、A矩阵的...
2020-10-20 20:56:31
87
原创 207.（443）压缩字符串
题目描述：给定一组字符，使用原地算法将其压缩。压缩后的长度必须始终小于或等于原数组长度。数组的每个元素应该是长度为1的字符（不是 int 整数类型）。在完成原地修改输入数组后，返回数组的新长度。进阶：你能否仅使用O(1) 空间解决问题？示例 1：输入：["a","a","b","b","c","c","c"]输出：返回 6 ，输入数组的前 6 个字符应该是：["a","2","b","2","c","3"]说明："aa" 被 "a2" 替代。"bb" 被 "b2.
2020-10-10 11:50:02
113
原创 206.（553）最优除法
题目描述：给定一组正整数，相邻的整数之间将会进行浮点除法操作。例如，[2,3,4] -> 2 / 3 / 4 。但是，你可以在任意位置添加任意数目的括号，来改变算数的优先级。你需要找出怎么添加括号，才能得到最大的结果，并且返回相应的字符串格式的表达式。你的表达式不应该含有冗余的括号。示例：输入: [1000,100,10,2]输出: "1000/(100/10/2)"解释:1000/(100/10/2) = 1000/((100/10)/2) = 200但是，以下加粗的括号 .
2020-10-10 11:13:18
146
原创 205.（434）字符串中的单词数
题目描述：统计字符串中的单词个数，这里的单词指的是连续的不是空格的字符。请注意，你可以假定字符串里不包括任何不可打印的字符。示例:输入: "Hello, my name is John"输出: 5解释: 这里的单词是指连续的不是空格的字符，所以 "Hello," 算作 1 个单词。思路：1、在字符串的末尾加一个空格作为结束2、遍历字符串，如果碰到空格，则判断前一个字符是不是空格，如果不是，则计数加一代码：class Solution {public: in
2020-10-10 10:33:07
98
原创 204.（917）仅仅反转字母
题目描述：给定一个字符串S，返回“反转后的”字符串，其中不是字母的字符都保留在原地，而所有字母的位置发生反转。示例 1：输入："ab-cd"输出："dc-ba"示例 2：输入："a-bC-dEf-ghIj"输出："j-Ih-gfE-dCba"示例 3：输入："Test1ng-Leet=code-Q!"输出："Qedo1ct-eeLg=ntse-T!"提示：S.length <= 10033 <= S[i].ASCIIcode <= 122S 中...
2020-10-08 09:41:46
92
原创 203.（859）亲密字符串
题目描述：给定两个由小写字母构成的字符串A和B，只要我们可以通过交换 A 中的两个字母得到与 B 相等的结果，就返回true；否则返回 false 。示例 1：输入： A = "ab", B = "ba"输出： true示例 2：输入： A = "ab", B = "ab"输出： false示例 3:输入： A = "aa", B = "aa"输出： true示例 4：输入： A = "aaaaaaabc", B = "aaaaaaacb"输出： true示例 5...
2020-10-06 16:44:41
77
快速排序优化的几种方法代码实现
2020-09-15
SQL基础教程.rar
2020-06-19
快速排序对不同类型数组的性能问题
2020-09-12
SQL数据库，在进行关联子查询时，使用别名与不使用别名的查询结果不同。
2020-06-17
TA创建的收藏夹 TA关注的收藏夹
TA关注的人