![](https://img-blog.csdnimg.cn/20190927151053287.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
工具学习
文章平均质量分 79
1. 程序员常用工具学习分享
2. 程序员学习技巧分析
3. 程序员上分分享
一只红花猪
1. 多年面试官经验、欢迎咨询各类简历修改、面试经验、求职准备;
2. 混迹多个大厂搜索、推荐、广告、内容、数据挖掘、数据分析等多个岗位工作,目前大模型算法驯化师;
展开
-
【Pyspark-驯化】spark中高效保存数据到hive表中:stored as PARQUET
在PySpark中,数据可以以不同的文件格式存储,其中最常见的是TEXTFILE和PARQUET。这两种格式在存储效率、查询性能以及使用场景上有着显著的差异。STORED AS TEXTFILE:这是一种简单的存储方式,将数据以文本形式存储,通常用于非结构化数据。它不需要特定的序列化机制,易于阅读但不适合高效的数据查询。STORED AS PARQUET:Parquet是一种列式存储格式,被优化用于分析型查询。它支持复杂的嵌套数据结构,并且与Hadoop和Spark等大数据平台紧密集成。原创 2024-06-28 17:31:40 · 829 阅读 · 0 评论 -
【vscode使用】一文帮你解决vscode打开文件不覆盖问题
vscode软件是目前在数据分析、数据挖掘、算法工程师中使用最为广泛的代码编辑器,由于它轻量好用而得到广泛的使用我们在使用vscode过程中,有时候需要将多个代码文件打开进行对比,但是总是会出现打开文件就被覆盖了的情况,这个对于查看代码是一个挺烦人的情况,下面给出如果配置vscode打开文件每次都是打开新的界面。原创 2024-06-26 13:28:01 · 798 阅读 · 0 评论 -
【大模型驯化-gradio】成功解决gradio出现httpcore.ReadTimeout: timed out问题
【大模型驯化-gradio】成功解决gradio出现httpcore.ReadTimeout: timed out问题 本次修炼方法请往下查看 在实际的工作中,我们经常会启用一个docker来管理自己的环境隔离问题,在使用对大模型进行可视化接口调用时,我们使用如下命令安装gradio: 从上述的结果可以看出我们已经在一个conda环境中安装成功了gradio,我们通过gra原创 2024-06-21 11:05:25 · 665 阅读 · 0 评论 -
使用conda处理docker崩溃导致的conda环境得重新配置
目前大公司基本都通过docker的方式管理开发机器,如果docker一旦重新启动很有可能conda环境就全部得重新配置了,之前安装的tensorflow和pytroch环境也需要重新配置比较麻烦,可以使用conda pack方式来处理这个问题。原创 2023-09-28 17:17:06 · 153 阅读 · 0 评论 -
mac中使用idea搭建java开发环境
目前大部分的大公司基本都使用java语言(1.8)作为后端的开发语言,除百度用c++,大部分的公司都使用java语言,目前有在转go的趋势,下面为java开发环境的搭建流程总体的工具为:idea+java+maven。原创 2023-09-28 16:02:47 · 316 阅读 · 0 评论