徐凤年不是真无敌
码龄3年
关注
提问 私信
  • 博客:155,775
    社区:3
    问答:29
    155,807
    总访问量
  • 55
    原创
  • 1,094,518
    排名
  • 27
    粉丝
  • 0
    铁粉
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:江苏省
  • 加入CSDN时间: 2021-10-16
博客简介:

AriesLY0411的博客

查看详细资料
个人成就
  • 获得55次点赞
  • 内容获得10次评论
  • 获得405次收藏
  • 代码片获得158次分享
创作历程
  • 32篇
    2022年
  • 23篇
    2021年
成就勋章
TA的专栏
  • 开发语言
    15篇
  • 算子
    1篇
  • Bigdata
    2篇
  • HDFS
    1篇
  • Hive
    1篇
  • 高级特性
    10篇
  • java
    16篇
  • Java基础专栏
    1篇
  • 后端
    4篇
  • IO流
  • OOP
    1篇
  • 数据库
    1篇
  • 虚拟机优化
    4篇
  • 多线程
    1篇
  • 环境变量
    2篇
  • MySQL数据库
    1篇
兴趣领域 设置
  • 大数据
    hadoophivestormsparketl
创作活动更多

超级创作者激励计划

万元现金补贴,高额收益分成,专属VIP内容创作者流量扶持,等你加入!

去参加
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

C语言easyX无法解析的外部命令

答:

检查头文件和库文件是否正确链接: 在编译时,需要确保正确指定相关的头文件和库文件路径例如使用编译选项“-”指定头文件路径,使用编译选项“-L”和“-”指定库文件路径和名称
检查环境变量是否正确设置:在编译和链接过程中,需要确保相关的环境变量已经正确设置,例0如在Windows系统中,需要将相关的DLL路径添加到系统环境变量PATH中。
检查编译器版本是否支持相关命令: 有时,可能是由于使用的编译器版本不支持相关命令,需要3升级到较新的版本或者使用其他编译器。
检查代码中是否存在语法错误:如果代码中存在语法错误,也可能导致无法解析外部命令的错误。
有可能是你的程序真正运行你忘记关掉了,有可能是你有个函数或者变量未定义就使用的(有可能是写错了,这个在vs里好像会有一点点提示)

回答问题 2023.07.21

Mongoose 向数组中插入数据失败

答:

http://www.codebaoku.com/question/question-sd-1010000011544099.html 希望可以帮助你

回答问题 2023.07.21

window 平台opengrok搭建

答:

假设已经有一台安装好tomcat服务的机器。此时不需要启动tomcat
下载opengrok binary。 
http://opengrok.github.io/OpenGrok/
把opengrok binary解压到根目录下。我这里是c:/opengrok盘根目录
把C:\opengrok\lib\source.war这个文件拷贝到tomcat\webapps文件夹里
编辑tomcat\webapps\source\WEB-INF\web.xml文件,如图opengrok将会生成configuration.xml文件。到目前为止还没有这个文件,先这么改着。
目录结构如图。另外创建data和source两个文件夹,后面会用到。
下载安装ctags。http://download.csdn.net/detail/mickeyfirst/5535753(速度要快些)或者到官网下载
把ctags解压的根目录下。比如c:\ctags,然后把c:\ctags加入到系统路径下
把要建立索引的源代码拷贝到c:\opengrok\source,就是刚才建立好的一个source文件夹
启动cmd,也就是dos命令窗口
执行java -Xmx524m -jar lib\opengrok.jar -W "C:\OpenGrok\data\configuration.xml" -P -S -v -s "C:\OpenGrok\source" -d "C:\OpenGrok\data"
等命令结束后,在浏览器中执行http://localhost:8080/source就可以使用了

回答问题 2023.07.21

澳大利亚光伏数据提问

答:

https://blog.csdn.net/heianzhongjinhua/article/details/122895038
试试

回答问题 2023.07.21

Hive建表指定JsonSerde:解析Json格式日志文件

数据准备{"student":{"name":"xiaowang","age":11,"sex":"M"},"class":{"book":"语文","level":2,"score":81},"teacher":{"name":"t1","class":"语文"}}{"student":{"name":"xiaoming","age":12,"sex":"M"},"class":{"book":"语文","level":2,"score":82},"teacher":{"name":"t2","c
原创
发布博客 2022.05.19 ·
1176 阅读 ·
0 点赞 ·
0 评论 ·
3 收藏

解决安装Azkaban出现:Access denied for user ‘azkaban‘@‘localhost‘ (using password: YES)

原本流程创建Azkaban用户并设置密码create user 'azkaban'@'%' identified by 'ok';授权grant select,update,delete on azkaban.* to 'azkaban'@'%' with grant option;刷新flush privileges;登录出现报错,各种尝试各种G解决方案将创建用户和授权中的 '%' 改成 'localhost'create user 'azkaban
原创
发布博客 2022.05.13 ·
784 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Spark 优化之:资源参数调优

资源参数调优了解完了Spark作业运行的基本原理之后,对资源相关的参数就容易理解了。所谓的Spark资源参数调优,其实主要就是对Spark运行过程中各个使用资源的地方,通过调节各种参数,来优化资源使用的效率,从而提升Spark作业的执行性能。以下参数就是Spark中主要的资源参数,每个参数都对应着作业运行原理中的某个部分,我们同时也给出了一个调优的参考值。num-executors参数说明:该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申
原创
发布博客 2022.04.27 ·
646 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

Spark 优化之:Shuffle优化

Shuffle调优1. map和reduce端缓冲区大小在Spark任务运行过程中,如果shuffle的map端处理的数据量比较大,但是map端缓冲的大小是固定的,可能会出现map端缓冲数据频繁spill溢写到磁盘文件中的情况,使得性能非常低下,通过调节map端缓冲的大小,可以避免频繁的磁盘IO操作,进而提升Spark任务的整体性能。map端缓冲的默认配置是32KB,如果每个task处理640KB的数据,那么会发生640/32 = 20次溢写,如果每个task处理64000KB的数据,即会发生6
原创
发布博客 2022.04.26 ·
948 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

Spark 优化之:RDD算子优化(篇幅很长,耐心看完收获满满)

RDD算子调优1. 避免RDD复用在对RDD进行算子时,要避免相同的算子和计算逻辑之下对RDD进行重复的计算,如下图所示对上图中的RDD计算架构进行修改,得到如下图所示的优化结果:一个简单的案例// 需要对名为“hello.txt”的HDFS文件进行一次map操作,再进行一次reduce操作。//也就是说,需要对一份数据执行两次算子操作。// 错误的做法:对于同一份数据执行多次算子操作时,创建多个RDD。// 这里执行了两次textFile方法,针对同一个HDFS.
原创
发布博客 2022.04.26 ·
1018 阅读 ·
1 点赞 ·
1 评论 ·
4 收藏

Spark OOM、GC、栈内存故障排除

1. 避免OOM-out of memory在Shuffle过程,reduce端task并不是等到map端task将其数据全部写入磁盘后再去拉取,而是map端写一点数据,reduce端task就会拉取一小部分数据,然后立即进行后面的聚合、算子函数的使用等操作。reduce端task能够拉取多少数据,由reduce拉取数据的缓冲区buffer来决定,因为拉取过来的数据都是先放在buffer中,然后再进行后续的处理,buffer的默认大小为48MB。reduce端task会一边拉取一边计算,不一定每
原创
发布博客 2022.04.26 ·
2549 阅读 ·
0 点赞 ·
0 评论 ·
7 收藏

Spark数据倾斜优化

Spark数据倾斜就是数据分到各个区的数量不太均匀,可以自定义分区器,想怎么分就怎么分。Spark中的数据倾斜问题主要指shuffle过程中出现的数据倾斜问题,是由于不同的key对应的数据量不同导致的不同task所处理的数据量不同的问题。例如,reduced端一共要处理100万条数据,第一个和第二个task分别被分配到了1万条数据,计算5分钟内完成,第三个task分配到了98万数据,此时第三个task可能需要10个小时完成,这使得整个Spark作业需要10个小时才能运行完成,这就是数据倾斜所带来
原创
发布博客 2022.04.26 ·
641 阅读 ·
0 点赞 ·
0 评论 ·
4 收藏

创建MySQL的触发器

在MySQL中,创建触发器语法如下:CREATE TRIGGER trigger_nametrigger_time trigger_event ON tbl_nameFOR EACH ROWtrigger_stmt其中:trigger_name:标识触发器名称,用户自行指定; trigger_time:标识触发时机,取值为 BEFORE 或 AFTER; trigger_event:标识触发事件,取值为 INSERT、UPDATE 或 DELETE; tbl_name:标识建立触发器的表名,
原创
发布博客 2022.04.07 ·
1196 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

创建、删除MySQL索引

1. 创建索引1.1 使用Alter创建索引添加主键索引> 特点:数据列不允许重复,不能为null,一张表只能有一个主键;Mysql主动将该字段进行排序 1 ALTER TABLE 表名 ADD Primary key (col); 添加唯一索引> 特点:索引列是唯一的,可以null;Mysql主动将该字段进行排序 1 ALTER TABLE 表名 ADD unique <索引名> (col.
原创
发布博客 2022.04.06 ·
420 阅读 ·
1 点赞 ·
0 评论 ·
1 收藏

安装 elasticsearch-head 依赖包问题:无法下载phantomjs

解决方案1.yum install -y wget2.wget https://github.com/Medium/phantomjs/releases/download/v2.1.1/phantomjs-2.1.1- linux-x86_64.tar.bz2执行上述两步即可
原创
发布博客 2022.03.29 ·
2266 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Git下载head插件报错:fatal: remote error: The unauthenticated git protocol on port 9418

报错信息: Cloning into 'elasticsearch-head'...fatal: remote error: The unauthenticated git protocol on port 9418 is no longer supported.翻译:克隆到“elasticsearch-head”……致命:远程错误:9418端口上的未认证的git协议不再被支持。解决方案:上网找了很多解决方法,包括git config --global...
原创
发布博客 2022.03.29 ·
3596 阅读 ·
0 点赞 ·
2 评论 ·
3 收藏

redies数据类型及应用场景

Redis支持5中数据类型:string(字符串),hash(哈希),list(列表),set(集合),zset(有序集合)string:string类型是redis最基本的类型,一个key对应于一个value,并且是二进制安全的,即可以包含任何数据,包括图片或者序列化的对象(突然想起Python的PIL中的Image模块,可以直接将图片转化为二进制文件)。string的一个键最大可以存储512MB。应用场景:应用广泛,几乎都用hash:hash是一个键值(key=>value
原创
发布博客 2022.03.16 ·
1811 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

如何优化Hive查询?看这篇

Hive查询过程根据上图,查询组件主要包括:UI(user interface)–用户提交查询或者其他操作,现在标准UI有CLI(command line interface),Thrift Serve,Hive web interface(HWI)。Driver(驱动)–负责接收查询及其他操作,Driver 实现了会话句柄的概念,并提供在基于JDBC / ODBC的execute和fetch APICompiler(编译器)...
原创
发布博客 2022.03.16 ·
774 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

解决小文件问题

更多关于Hive的优化,点击下面连接Hive数据倾斜的优化配置_徐凤年不是真无敌的博客-CSDN博客https://blog.csdn.net/AriesLY0411/article/details/123382148?spm=1001.2014.3001.5501什么情况下会产生hive小文件1.动态分区插入数据,产生大量的小文件,从而导致map数量剧增。2.reduce数量越多,小文件也越多(reduce的个数和输出文件是对应的)。3.数据源本身就包含大量的小文件。小文件危害
原创
发布博客 2022.03.16 ·
359 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Hive数据倾斜的优化配置

Hive本质Hive的本质其实就是 Hdfs+MapReduce,HDFS存储、MR执行任务发生数据倾斜的原因1.数据本身倾斜内容倾斜、group by倾斜、小表Join大表2.过多Join过多导致Job过多、小文件过多、Mapper或Reducer过多3.SQL语句使用问题count(distinct)->全盘扫描join ... where 笛卡尔乘积关于数据倾斜见我的博客:大数据常见问题:数据倾斜的原理及处理方案_AriesLY0411的博客-CSDN
原创
发布博客 2022.03.09 ·
2260 阅读 ·
0 点赞 ·
0 评论 ·
9 收藏

日期类型选Timestamp? 还是 DateTime?

Hive TimeStamp是hive中的一种数据类型 对应的时间格式为yyyy-MM-dd HH:MM:SSHive中使用current_timestamp()函数获取当前时间,精确到毫秒select current_timestamp();+--------------------------+--+| _c0 |+--------------------------+--+| 2019-06-02 15:31:33.355 |+---
原创
发布博客 2022.03.04 ·
775 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏
加载更多