5. wordcount（jupyter）

最新推荐文章于 2023-06-20 16:40:41 发布
最新推荐文章于 2023-06-20 16:40:41 发布
阅读量1.8k 收藏 2
点赞数
分类专栏： spark（pyspark） 大数据学习 文章标签： pyspark wordcount jupyter notebook
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42490528/article/details/86033973
版权

本地运行代码：

PYSPARK_DRIVER_PYTHON="jupyter" PYSPARK_DRIVER_PYTHON_OPTS="notebook" pyspark

# 读取文本数据

textFile = sc.textFile("file:/ipynotebook/test.txt")

# 使用flatMap空格符分割单词，读取每个单词

stringRDD = textFile.flatMap(lambda line:line.split(" "))

# map reduce 计算每个单词出现的次数

countsRDD = stringRDD.map(lambda word: (word,1)).reduceByKey(lambda a,b:a+b)

# 保存计算结果

countsRDD.saveAsTextFile("file:/ipynotebook/output")

 

yarn运行代码：

PYSPARK_DRIVER_PYTHON="jupyter" PYSPARK_DRIVER_PYTHON_OPTS="notebook" MASTER=yarn-client pyspark

 

 

ant_yi
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
PySpark统计字母出现次数的平均值，及利用IPython (Jupyter) Notebook统计datas.csv数据
free97zl的博客
12-23 4659
spark： 步骤： 1.start-dfs.sh 2.pyspark 3.[('a',3),('b',1),('c',4),('d',2),('a',7),('b',3),('c',6),('d',5),('a',4),('c',5),('d',9),('c',7),('d',6)] 4.求出每个字母后面数字出现的平均值
jupyter notebook 中使用pandas统计分析基础
kyj3518861703的博客
03-30 8590
一： pandas是基于numpy的数据分析模块，它提供了大量标准数据模型和高效操作大型数据集所需要的工具。可以说pandas时使用pyhton能够成为高效且强大的数据分析环境的重要因素之一。 导入的方式： import pandas as pd pandas 有三种数据结构：series，dataframe 和panel series类似与数组，dataframe类似与表格，panel类似excel的多表单sheet 以下内容主要是对一个文件的一个数据分析： 用到的数据： 二：
Python一行代码统计字符串里某个字符出现的次数
Norsaa的博客
02-08 5780
1）方法 输入：字符串.count('要统计的字符'） 输出：统计数量 2）案例：统计'use_data'中字母‘a'的个数 输入：'use_data'.count('a') 输出：2
python统计字符串中每个单词出现的次数_python中每个单词出现的次数是一组字符串？...
weixin_39998998的博客
11-22 321
你可以这样得到你的分数：import resentence = list()sentence.append(" hello my name is John")sentence.append("good morning I am John")sentence.append("hello I am Smith")value = dict()for sentenceC in sentence:for w...
pandas中高级应用——jupyter
weixin_43808138的博客
03-18 2762
根据实际的例子介绍了基于pandas数据类型的数据处理，包括数据聚合与分组运算等内容
第5章 MapReduce分布式计算框架 2 5.1. MapReduce简介 2 5.2. wordcount经典案例介绍 2
05-21
5.5. wordcount经典案例的实现 5 5.5.1. 分析数据准备 5 5.5.2. 新建maven项目，导入项目所需要的依赖 6 5.5.3. Mapper阶段代码编写 10 5.5.4. Reduce阶段代码编写 12 5.5.5. 定义Driver类, 描述 Job 13 5.5.6. 使用...
WordCount.py
12-29
WordCount.py
3.wordcount-main函数编写.mp4
11-22
wordcount编写及测试演示 3.wordcount-main函数编写.mp4 环境是win10+eclips centos7.3+hadoop2.7.3
2.wordcount-Reducer类编写.mp4
11-22
wordcount编写及测试演示 环境是win10+eclipse centos7+hadoop2.7.3 2.wordcount-Reducer类编写.mp4
1.wordcount-Mapper类编写.mp4
11-22
wordcount编写及测试演示 环境是win10+eclipse centos7+hadoop2.7.3 1.wordcount-Mapper类编写.mp4
【Python】读取txt文件，并统计英文单词出现次数
strangequark的博客
06-20 1098
读取txt文件，一篇英文文章，统计该文章中某个单词的出现次数。
python统计表格中特定国家出现次数_Python探索性数据分析，这样才容易掌握
weixin_35786588的博客
02-04 704
「Python数据之道」导语理解你的数据的最佳方法是花时间去研究它。Python探索性数据分析教程介绍每个数据科学家都必须掌握的最重要的技能之一是正确研究数据的能力。彻底的探索性数据分析 (EDA， Exploratory Data Analysis) 是必要的，这是为了确保收集数据和执行分析的完整性。本教程使用的示例是对历史上 SAT 和 ACT 数据的探索性分析，以比较不同州 SAT 和 AC...
Python学习Day11——文本词频统计
weixin_44823151的博客
08-02 655
#文本文件词频统计——英文文本、中文文本 ''' def getText():#读入文本，为方便统计单词出现的次数，故需将文章的单词全部转换为小写，并将文章中出现的标点符号改用空格代替，以方便下方的程序进行列表拆分 txt=open("E:/OpenCVTests/Hamlet.txt","r").read() txt=txt.lower() for ch in '[]\;...
Jupyter Notebook对数据集进行数据分析 数据统计(含：样本数量/样本长度/样本长度分布图/示例样本打印)
xiyou__的博客
02-25 5646
以下内容可直接以写入.ipynb文件的形式，放入服务器上任意已准备好数据集的文件夹下： 导入模块 import os import json import re from collections import defaultdict 绘图函数 def draw(dic): #输入样本数量统计字典 import numpy as np import matplotlib.pyplot as plt from matplotlib.ticker import MaxNLocat
使用jupyter做数据分析与挖掘
汪敏的博客
05-11 1万+
使用jupyter做数据分析与挖掘使用jupyter做数据分析与挖掘数据关系统计量分析异常值分析jupyter-pandas处理excel 使用jupyter做数据分析与挖掘 数据关系 统计量分析 describe describe会返回一系列参数，count，mean，std，min，25%，50%，75%，max。 describe()返回值的解释如下： count：返回数组的个数，如上述为4个元素，所以返回为4； mean：返回数组的平均值，1 3 5 9的平均值为4.5； std：返回数组的标准
jupyter-pandas处理excel
汪敏的博客
05-11 1万+
jupyter-pandas处理exceljupyter-pandas处理excel数据导入与读取给出行和列打印数据前n行打印数据后n行查看并打印第n行打印第n行某一列的值打印某n行逻辑运算基本绘图更新数据统计出现的次数相关性和散射矩阵 jupyter-pandas处理excel 数据导入与读取 xls = 'C:\\Users\\Kst\\Downloads\\皮马人糖尿病数据集(UCI) .xls' data = pd.read_excel(xls) #数据读取 给出行和列 data.describ
python小程序——统计文件中单词出现的次数
热门推荐
baidu_30374343的博客
01-09 2万+
1、统计文件中第一个单词出现的次数 方法一：先把所有不重复的首个单词保存为列表，然后用字典的fromkeys方法把字典初始化为键为首单词值为0的字典，最后再循环一次统计单词出现的次数，该方法的算法复杂度较高，如文件有n行，则为O(n*n) def count_word(): count = {} keys = [] with open('test.txt') as f...
python中统计各个单词出现的次数使用方法_python统计文章中单词出现次数实例
weixin_39978276的博客
11-20 2477
python统计单词出现次数做单词词频统计，用字典无疑是最合适的数据类型，单词作为字典的key， 单词出现的次数作为字典的 value，很方便地就记录好了每个单词的频率，字典很像我们的电话本，每个名字关联一个电话号码。下面是具体的实现代码，实现了从importthis.txt文件读取单词，并统计出现次数最多的5个单词。# -*- coding:utf-8 -*-import ioimport re...
import java.util.Map; public class test { public static void main(String[] args) { String a = "i am zjr form china am"; System.out.println(treemap.wordCount(a)); System.out.println(hashmap2.wordCount(a)); Map<String, Integer> stringIntegerMap = treemap.wordCount(a); Map<String, Integer> stringIntegerMap1 = hashmap2.wordCount(a); System.out.println(stringIntegerMap1.keySet()); System.out.println(stringIntegerMap1.values()); } } 这段代码的作用是什么
最新发布
07-09
这段代码的作用是测试一个名为`wordCount`的方法在`treemap`和`hashmap2`中的运行结果。首先，将字符串`"i am zjr form china am"`赋给变量`a`。然后，分别使用`treemap`和`hashmap2`中的`wordCount`方法对字符串进行单词计数，并将结果打印出来。接着，将计数结果分别赋给`stringIntegerMap`和`stringIntegerMap1`。最后，打印出`stringIntegerMap1`的键集合和值集合。整个代码的目的是测试并展示不同的实现方式（使用TreeMap和HashMap）对字符串进行单词计数所得到的结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值