mingo220的博客

获取通用最新dt df = sqlContext.table("mart_xdata.pickup_published") df_dates = df.select('dt').distinct().orderBy(df['dt'].desc()) lat_date_dict=df_dates.first().asDict() lat_dt=lat_date_dict['dt']

tf-idf是一种用于信息检索与文本挖掘的常用加权技术。tf-idf是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。 1. TF 在一份给定的文件ddd里，词频（term frequency，tf）指的是某一个给定的词语在该文件中出现的频率。这个数字是对词数（term count）的归一化，以防止它偏向长的文件。（同一个词语在长文件里可能会比短文件有更高的词数，而不管该词语重要与

人狠话不多，直接上代码！ from pyspark import SparkConf from pyspark.sql import SparkSession from pyspark.sql import HiveContext from pyspark.sql import Row from pyspark import SparkFiles from pyspark.sql.types im...

在日常的数据处理过程，需要生成一个dict。 词典数据来源主要有有：HIVE表、HDFS上的文件。 1. 从HIVE表读数据并转成dict from pyspark import SparkContext from pyspark.sql import HiveContext,SparkSession sc = SparkContext() sql_context = HiveContext(sc...

from pyspark import SparkContext from pyspark.sql import HiveContext from pyspark.sql.functions import udf sc = SparkContext() sql_context = HiveContext(sc) def udf_1(input): ''' Do something '''...