![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布与并行
文章平均质量分 94
Regan_zhx
一码当先,码到功成
需要博客相关资料可以加QQ:1334724312
展开
-
Hadoop3.x:Centos7.x 下mysql和Hive安装(踩坑笔记)
Hadoop3.x:Centos7.x 下mysql和Hive安装前言一、mysql安装1.试图使用yum安装mysql2.使用mysql-5.7.32-linux-glibc2.12-x86_64.tar.gz安装3.进入mysql客户端进行授权4.本地主机远程登录示范(可选)二、hive安装1.apache-hive-2.3.7-bin.tar.gz安装2.配置hive-env.sh3.生成hive-site.xml4.添加mysql连接驱动包到hive的lib目录下日常踩坑:5.配置hive环境变量6原创 2021-05-01 18:38:13 · 1101 阅读 · 2 评论 -
Hadoop:MapReduce进阶编程(WritableComparable和cleanup的使用)
Hadoop:MapReduce进阶编程(WritableComparable和cleanup的使用)一、案例要求实验内容 1,自定义类型实验内容 2,Top N 求解实验简析二、实现过程1.IntelliJ IDEA 创建Maven工程2.完整代码子实验1子实验23.Maven打包4.Hadoop集群运行参考网站及视频一、案例要求实验内容 1,自定义类型1)已知数据格式如下(用户名\t 收入\t 支出\t 日期);PS:实际是按空格,如下面的数据zhangsan 6000 0 2016-05-0原创 2021-04-23 23:59:09 · 820 阅读 · 0 评论 -
Python C/S模式 socket网络编程之WebApi心跳模型
Python C/S模式 socket网络编程之WebApi心跳模型一、案例要求二、代码实现1.源代码2. 要点讲解三、效果演示一、案例要求在本实验中,意图从客户端主动、定时发起请求,从服务器端拉取下发到客户端的数据——这解决了数据下行(从服务器端到客户端)要求如下:1、编写一个客户端、一个服务器端程序2、服务器端程序要求:1)只提供一个接口;2)以WebApi方式部署3)数据封装为Json格式4)每500ms,生成一个随机数(int范围内),缓存到集合/数组中5)当接口被调用时,把从上原创 2021-04-23 21:37:36 · 524 阅读 · 2 评论 -
Hadoop:MapReduce之倒排索引(Combiner和Partitioner的使用)
Hadoop:MapReduce之倒排索引前言一、案例要求二、实现过程1.IntelliJ IDEA 创建Maven工程2.完整代码3.Maven打包4.Hadoop集群运行推荐Hadoop学习网站前言本案例有一定门槛,需要一点Java基础,Hadoop入门级知识,涉及Maven管理,pom配置文件,Maven打包,Linux虚拟机的使用,Hadoop集群,若阅读期间感觉吃力请自行补课。当然有疑问,也欢迎评论留意或私信我。一、案例要求1) 实现倒排索引效果:统计每个单词在不同文件中的出现次数;查看下原创 2021-04-14 23:36:44 · 2506 阅读 · 5 评论 -
Python 分布与并行 三分钟内精确计算π超过2万位
分布与并行 三分钟内精确计算π超过2万位好久没写博客,先唠唠嗑,大三学业繁重,好多专业知识要学,这学期要学计算机网络、分布与并行、数据挖掘……这次并行编程一路坎坷,从中也学到了很多,珍惜当下写博客的时光吧!问题介绍:限时3分钟内,尽量生成多位的π值,并行实现。一、了解计算π的公式及算法计算π的公式有很多的公式有很多,这里列举一些,读者可自行搜索:1、拉马努金公式2、高斯-勒让德算法3、莱布尼茨公式4、波尔文四次迭代式5、丘德诺夫斯基公式 (适合计算机编程)此处附上链接:圆周率计算公式推原创 2020-11-27 00:47:40 · 1073 阅读 · 7 评论 -
Python 分布与并行 asyncio实现生产者消费者模型
Python asyncio实现生产者消费者模型一、题目介绍二、题目分析三、asyncio模块的入门学习四、实现代码由于疫情原因这个学期格外的短,越到期末,时间就越显得宝贵,学习效率也尤为重要!本次分布并行实验也是最后一个分布并行系列作业,需要实现生产者消费者模型,而对于python爱好者的我来说如何都避不开异步编程、学习asyncio库这个关卡。这篇文章旨在分享我的实现过程和知识交流。一、题目介绍本实验让大家体验一下生产者-消费者的模式,并对此进行并行化改造。1、生产者随机生成一个大于20亿的原创 2020-12-16 00:03:25 · 2194 阅读 · 0 评论