- 博客(14)
- 收藏
- 关注
RSS订阅原创 GPU训练模型遇到的报错
注意os.environ[“CUDA_VISIBLE_DEVICES”] 要在import torch前面，否则可能无法生效：https://zhuanlan.zhihu.com/p/582993579。1.查看pytorch是否是cpu版本，是的话参考：https://blog.csdn.net/wqufhu/article/details/129295385。
2024-07-05 13:53:20
218
原创 大数据管理技术 | 一些遇到的错误
文章目录一些遇到的错误hbasesparkpyspark一些遇到的错误hbasegedit ~/.bashrc时显示Unable to init server: Could not connect: Connection refused(gedit:4223): Gtk-WARNING **: 23:15:04.898: cannot open display:原因：进入了ssh/hdfs之类的操作 exit即可或者是真的没有权限，参考进入hbase shell后输入list显示
2020-09-07 12:45:44
789
原创 大数据管理技术 | 实习五 Spark软件栈体验
文章目录实习五 Spark软件栈体验Spark安装与启动1.Spark RDD-WordCount2.Spark SQL3.Spark MLlib之Titanic4.GraphX再现PageRank实习五 Spark软件栈体验Spark安装与启动本次实习采用spark为3.0.0版本。在根据教程安装后输入./bin/spark-shell进入交互模式，界面生成如下结果：输入如下代码进行RDD简单操作：val textFile = sc.textFile("file:///usr/local
2020-08-15 11:31:56
395
原创 大数据管理技术 | 基于Spark的tpc-h22条查询语句及优化
文章目录基于Spark的tpc-h查询语句及优化1.实验目的2.实验环境2.1 电脑&虚拟机配置2.2 Java&Spark设置3.数据上传&建表4.tpc-h测试集22条查询4.1 查询语句4.2 运行时间分析5.优化5.1 数据倾斜5.2 shuffle5.3 持久化5.4 Spark多核运行5.5 虚拟机设置6.结果与分析7.心得体会基于Spark的tpc-h查询语句及优化1.实验目的选择了tpc-h的22条语句进行查询测试，并尝试了shuffle优化、持久化、spark
2020-08-15 11:01:25
1035
原创 大数据管理技术 | 实习三 Hive之用户购物行为分析
实习三 Hive之用户购物行为分析文章目录实习三 Hive之用户购物行为分析小组成员一、实验目的二、实验过程1.数据说明数据导入2.用户行为分析2.1 用户访问量与下单量2.2 用户下单量分析2.3 一天中不同时间段的差异2.4 用户行为路径分析2.4.1 用户每种行为的日平均次数2.4.2 用户购买行为转化分析2.5 获客分析2.6 用户留存分析2.7 复购分析3.商品数据分析3.1 商品排行榜信息3.2 商品种类浏览量排行榜小组成员丁泓馨 元培学院 1800017752李铮 元培学院 18000
2020-08-14 19:45:43
3699
2
原创 大数据管理技术实习二——PageRank
文章目录大数据管理技术实习二——PageRank实验目的编程思路实验步骤注意事项大数据管理技术实习二——PageRank实验目的本实验为Map Reduce小组作业实习一项目，目的为给定风筝网络图为输入时实现PageRank算法，算出该图的值分布。编程思路参考：https://blog.csdn.net/u010414589/article/details/51404971输入与输出：将给定网络图转化为文档，其中格式为：node_name_i pagerank_i i_link_1 i_
2020-07-24 16:58:33
303
原创 大数据管理技术实习——MapReduce之WordCount(去标点符号)
大数据管理技术实习——MapReduce文章目录大数据管理技术实习——MapReduce要求：基础代码1.map部分2.Reduce部分改进代码运行过程（命令行shell相关）1.开启hdfs2.初始化/格式化（以前的输入输出 没有可略过）3.打包jar4.运行程序5.部分bug5.1 HDFS Corrupt block5.2 正则表达式中的“-”问题5.3 retry policy is...5.4 SLF4J: Class path contains multiple SLF4J bindings.
2020-07-18 22:18:44
2025
1
原创 并行与分布式计算导论——HW04
碎碎念：别问我为啥没有03orz 这学期网课太容易松懈了…等考试周过去看看能不能补一补orz（flag*1）题目：⼩明⽤OpenCL编写⼀份计算矩阵-向量乘法的代码，AX=y, 其中A是N*N的矩阵，X是⻓度为N的向量。 他的做法是对矩阵按⾏分组，每个work group计算每⾏的结果。在每个work group内，他⼜设置了16 个work item，其中第i个work item计算下标模16余i的元素的乘法与加法，最后使⽤规约 （reduction）来计算最终结果。下⾯给出了部分主程序和kerne
2020-06-06 21:52:04
686
原创 论文阅读之FindingScientificTopics
Finding scientific topicsAuthor:Thomas L. Griffiths翻译：（小技巧：从百度搜了https://www.pnas.org/content/101/suppl_1/5228.full）之后点击阅读全文后复制到googleChrome浏览器上然后点击翻译233摘要生成Abstract 摘要总结了一下这篇文章的目的：用概率上的事儿来分析...
2020-04-12 20:32:42
917
原创 并行与分布式计算导论—HW02
死了死了（。）1 . 题目：回顾 MPI 的通信机制，写出如下 Collective Communications 操作的伪代码： ① One-to-all Broadcast ；② All-to-all Reduction ；③ Scatter① One-to-all Broadcast (& all-to-one Reduction)先回顾一下概念：这里One to all...
2020-04-11 16:15:42
1035
3
原创 并行与分布式计算导论—性能分析
对应北大罗老师课件：PDC08.MPI.scalability以及书《MPI与OpenMP并行程序设计：C语言版》第七章重要公式：加速比通用公式Amdahl定律：决定一个程序是否值得并行化Gustafson-Barsis定律：评估并行程序性能的方法Karp-Flatt度量：确定影响加速比的障碍，来自串行部分/并行开销等效加速比度量：衡量在并行计算机上执行算法的可扩展性，帮助你选择在处...
2020-04-09 15:27:46
1590
原创 论文阅读之Generative Adversarial Nets
论文阅读之Generative Adversarial NetsGenerative Adversarial Nets(GAN)作者：IanJ.Goodfellow一个生动的比喻：生成器（Generator,G）即假钞制造者，辨别器（Discriminator,D）的任务是识别假钞，前者想要尽力蒙混过关，而后者则是努力识别出是真钞（来自于原样本）还是假钞（生成器生成的样本）。两者左右互搏（...
2020-04-06 12:03:20
603
1
原创 小菜鸡的破思路|数据结构与算法MOOC内排序Ⅱ
@TOC小菜鸡的破思路|数据结构与算法MOOC内排序Ⅰ作业小菜鸡的破思路|数据结构与算法MOOC内排序Ⅰ用CSDN抄写了这么久的作业…突发奇想记录一下自己的作业思路也可hhh1.距离排序原题：http://dsa.openjudge.cn/hw08/1/描述给出三维空间中的n个点（不超过10个）,求出n个点两两之间的距离,并按距离由大到小依次输出两个点的坐标及它们之间的距离。输入输...
2019-11-30 00:38:06
254
原创 小菜鸡的破程序|数据结构与算法内排序Ⅰ
小菜鸡的破程序|数据结构与算法内排序Ⅰ第一题：距离排序似乎做过，计概作业题hhh于是投机取巧直接拿来了http://dsa.openjudge.cn/hw08/1/#include<iostream>#include<iomanip> #include<cmath>using namespace std;struct point { int x...
2019-11-29 14:22:03
155
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人