百夜﹍悠ゼ
码龄6年
关注
提问 私信
  • 博客：117,564
    社区：13
    问答：88
    动态：539
    118,204
    总访问量
  • 64
    原创
  • 2,188,658
    排名
  • 23
    粉丝
  • 0
    铁粉

个人简介：贪、嗔、痴、妄、生、死，皆虚无，人生苦短，大梦一场。

IP属地以运营商信息为准，境内显示到省（区、市），境外显示到国家（地区）
IP 属地：浙江省
  • 加入CSDN时间： 2019-05-30
博客简介：

DaiSnow的博客

查看详细资料
个人成就
  • 获得78次点赞
  • 内容获得24次评论
  • 获得250次收藏
  • 代码片获得1,427次分享
创作历程
  • 7篇
    2022年
  • 8篇
    2021年
  • 49篇
    2020年
成就勋章
TA的专栏
  • Hadoop
    6篇
  • Hive
    7篇
  • 深度学习
    1篇
  • python
    4篇
  • 虚拟机
    10篇
  • flume
    2篇
  • hdfs
    3篇
  • java
    2篇
  • 算法
    1篇
  • ELK
    2篇
  • log4j
    1篇
  • scala
    4篇
  • mongodb
    1篇
  • sqoop
    2篇
  • anaconda
    1篇
  • kafka
    1篇
  • regex
    1篇
  • Hbase
    1篇
  • zookeeper
    2篇
  • sql
兴趣领域 设置
  • 大数据
    hadoophivestormsparketl
  • 人工智能
    opencv计算机视觉tensorflow图像处理
创作活动更多

2024 博客之星年度评选报名已开启

博主的专属年度盛宴，一年仅有一次！MAC mini、大疆无人机、华为手表等精美奖品等你来拿！

去参加
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

Flink CDC Oracle 用户权限不足 ORA-01031: insufficient privileges

Flink cdc 实时抽取Oracle数据表，提示：ORA-01031: insufficient privileges
原创
发布博客 2022.10.26 ·
3300 阅读 ·
0 点赞 ·
3 评论 ·
3 收藏

平时30秒能执行完成的sqoop任务，最近出现执行超时，需要1分30秒。sqoop日志截图如下，发现sqoop任务运行主要耗时在JobResourceUpload，资源文件上传。查看hadoop运行状态没有发现异常。有大佬解决过相同的问题吗。

发布动态 2022.09.28

字符集中文乱码转换为UTF8，如：å\u0085¬è¯\u0081ä¸\u009Aå\u008A¡ç±»å\u0088«æ\u009C\u0089误ï¼\u0081

字符集中文乱码转换为UTF8，如：å\u0085¬è¯\u0081ä¸\u009Aå\u008A¡ç±»å\u0088«æ\u009C\u0089误ï¼\u0081。
原创
发布博客 2022.09.15 ·
24097 阅读 ·
3 点赞 ·
0 评论 ·
1 收藏

oracle 查找、替换 字符串中的 换行符

oracle 中实现字符串中查找、替换换行符 chr(10)、chr(13)等。
原创
发布博客 2022.06.10 ·
7080 阅读 ·
3 点赞 ·
0 评论 ·
10 收藏

org.pentaho:pentaho-aggdesigner-algorithm:jar:5.1.5-jhyde Maven下载不下来

找了很多文章都提供以下两种方式1）设置maven镜像仓库2）pom文件增加不过我试了都没有解决问题。最终直接下载缺失的包，地址如下https://public.nexus.pentaho.org/#browse/search=keyword=pentaho-aggdesigner-algorithm将jar和pom放到maven对应路径下即可。pentaho-aggdesigner-algorithm-5.1.5-jhyde.jarpentaho-aggdesigner-algorithm-
原创
发布博客 2022.06.02 ·
4679 阅读 ·
24 点赞 ·
10 评论 ·
8 收藏

krb5_1.51.1 rpm安装包

发布资源 2022.05.13 ·
zip

最近大数据集群进行用户安全认证，参考他人的博客，CDH6.3.2 添加Sentry服务并集成Kerberos，在sentry-site.xml配置中添加如下内容： <property> <name>sentry.service.processor.factories</name> <value>org.apache.sentry.provider.db.service.thrift.SentryPolicyStoreProcessorFactory,org.apache.sentry.hdfs.SentryHDFSServiceProcessorFactory</value> </property> 后来sentry服务启动时日志文件出现如下报错，org.apache.sentry.provider.db.service.thrift.SentryPolicyStoreProcessorFactory该类找不到。求教这个参数配置的目的，类包所在路径以及问题解决办法。

发布动态 2022.05.06

Apache Http Server安全漏洞解决

场景：公司使用的大数据集群云服务器，安全扫描出严重漏洞，扫描漏洞如下：安全漏洞扫描报告端口协议服务严重等级漏洞–ICMP–弱ICMP timestamp请求响应漏洞–UDP–弱允许Traceroute探测80TCPhttp严重 严重 严重 严重 严重 弱OpenSSL 安全漏洞(CVE-2022-0778) Apache HTTP Server 环境问题漏洞(CVE-2022-22720) Apache HTTP Server 输入验证错误漏
原创
发布博客 2022.04.21 ·
11773 阅读 ·
4 点赞 ·
2 评论 ·
22 收藏

hadoop分布式安装，格式化之后，主节点master机器查看jps正常，从节点slave1和slave2机器查看jps只有jps进程，这是怎么回事

答:

现在master节点上执行stop-all.sh，然后jps查看确保dn nn nm关闭，然后再start-all.sh

回答问题 2022.03.31

基于CM管理的CDH6.3.2集群集成Atlas2.1.0

基于CM管理的CDH6.3.2集群集成Atlas2.1.0大数据平台进行数据治理需要，采用Apache Atlas进行数据治理。下载Atlas2.1.0版本源码包。下载https://www.apache.org/dyn/closer.cgi/atlas/2.1.0/apache-atlas-2.1.0-sources.tar.gz 到windows。前提CDH集群已经搭建完成，组件服务包含Hdfs、Hive、Hbase、Solr、Kafka、Sqoop、Zookeeper、Impala、Yarn、Sp
原创
发布博客 2022.03.25 ·
3266 阅读 ·
1 点赞 ·
5 评论 ·
12 收藏

基于CM管理的CDH集群集成Phoenix

基于CM管理的CDH集群集成Phoenix背景介绍：原有的CDH集群，以Hive+Hbase+Impala进行数据处理查询，Hbase而言语法难懂，不同于寻常的SQL，Impala而言速度查询速度太慢且无法进行记录的修改。故而考虑用Phoenix来集成Hbase、Hive以解决上述问题。前提：已经基于CM安装搭建CDH集群，本文采用parcels包的方式集成Phoenix到CDH集群。下载Phoenix Parcel包和Jar包并上传到CM-Server节点本文采用的phoenix版本包如下：..
原创
发布博客 2022.03.24 ·
3213 阅读 ·
0 点赞 ·
0 评论 ·
4 收藏

hadoop集群启动没有Datanode

答:

检查dn日志 logs目录下有 /opt/module/hadoop-3.1.1/logs/hadoop-root-datanode.out

回答问题 2022.01.07

windows Server 2012 安装导入opencv-python 提示DLL找不到

项目背景：win server 2012 R2 + python3.6+opencv4.4.0+ffmpeg 实现视频图像处理问题描述：import cv2 报错dll找不到1.pip命令安装opencv：pip --default-timeout=100 install opencv-python==4.4.0.46 -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com2.通过pip list 查看模块列表发现 numpy和
原创
发布博客 2021.12.27 ·
5637 阅读 ·
21 点赞 ·
3 评论 ·
32 收藏

基于CDH6.2.0 搭建大数据集群

Cloudera Manager集群搭建hostname按表格进行修改，/etc/hosts文件添加节点 Ip+hostnamehostnameiprolecdh-nn01172.16.0.188HadoopMaster，CM Server，Mysql，Hue，HS2cdh-nn02172.16.0.189Hadoop Master，CMAgent，HS2cdh-nn03172.16.0.190Hadoop Master，CMAgent，HS2,Impala
原创
发布博客 2021.12.09 ·
2079 阅读 ·
0 点赞 ·
0 评论 ·
4 收藏

org.apache.parquet.schema.InvalidSchemaException: A group type can not be empty. Parquet does not su

1.读取cvs文件数据写入parquet文件 val spark =SparkSession.builder().appName("test").master("local").getOrCreate() val file = "hdfs://clusters/test/demo.csv" val frame = spark.read.option("header","true").csv(file) val newfile = file.split("\\.")(0)+".parque
原创
发布博客 2021.07.21 ·
1157 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

org.apache.hadoop.security.AccessControlException

通过spark程序HDFS进行文件写入操作时，程序报错org.apache.hadoop.security.AccessControlException: Permission denied: user=admin, access=WRITE, inode="/mydata":root:supergroup:drwxr-xr-x，根据提示可知是程序使用的是admin用户，它没有写权限。报错信息如下：Exception in thread "main" org.apache.hadoop.security
原创
发布博客 2021.06.03 ·
1528 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

Java 基于poi 读写excel文件（ *.xlsx）

Java 通过poi读取excel文件需要使用XSSFWorkbook对象，需要如下依赖包 <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> <version>4.1.0</version> </dependency> <dependency&g
原创
发布博客 2021.06.08 ·
746 阅读 ·
0 点赞 ·
0 评论 ·
3 收藏

Java BufferedReader和BufferedWriter 实现按行读写文本数据

背景：将指定的生产业务数据按行写入文本文件中，以便后续分析。功能实现：按行写入、读取批量数据。本文使用BufferedWriter和BufferedReader以字符流方式读写文本数据。按行写数据到文本BufferedWriterwrite()方法向缓冲区写入数据newLine()写入换行符flush()将缓冲区数据刷写到外部文件，并清空缓冲区。 /** * 向指定文件中写入数据 * @param outFileName 文件路径 * @param conte
原创
发布博客 2021.05.12 ·
2689 阅读 ·
0 点赞 ·
0 评论 ·
3 收藏

Nifi 快速安装及文件同步操作

Nifi简单来说是一个数据拉取、数据处理以及数据分发的系统。Nifi运行需要JVM，需要Java 8版本。下载地址：nifi.apache.org/download 本文安装nifi-1.8.0-bin.tar.gz使用手册：http://nifi.apache.org/docs.html安装1.下载安装包wget -b http://mirror.bit.edu.cn/apache/nifi/1.8.0/nifi-1.8.0-bin.tar.gz2.解压安装包tar -zxf nifi
原创
发布博客 2021.05.06 ·
832 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

解决安装python模块库 Error:Read timed out

在使用python进行开发常常需要用到各式各样的模块库，往往pip install 模块库会给我们带来意想不到的惊喜！5分钟的下载时间长可以等待的？！结果出现Read time out! 连接超时！！如下图：百度了几篇文章，找到了一个比较有效的方法,就是在基础安装指令pip install model_name后拼接上-i http://pypi.douban.com/simple --trusted-host pypi.douban.com 使用镜像源。完整命令如下，替换model_name为目标模
原创
发布博客 2021.04.20 ·
332 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏
加载更多