![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
Cesion_lin
喜欢技术交流
展开
-
pyspark中ip地理位置统计案例代码实现
ip地理位置统计案例代码实现案例分析:一、 ip地理位置统计案例思路加载城市ip段信息,获取ip起始数字和结束数字,经度,纬度加载日志数据,获取ip信息,然后转换为数字,和ip段比较比较的时候采用二分法查找,找到对应的经度和纬度对相同的经度和纬度做累计求和数据形式日志访问信息,对应:去敏感用户ID,IP地址IP收录信息,对应IP起始和结束范围、IP经坐标代码实现...原创 2019-09-19 11:47:58 · 554 阅读 · 3 评论 -
使用pyspark统计用户访问(uv)TOP_N
使用pyspark统计用户访问TOP_N说明:使用pyspark库uv的TOP_N实现一、数据说明用户访问数据,IP地址,URL二、代码实现导入pyspark及环境配置import osfrom pyspark import SparkContextimport timeJAVA_HOME='/root/bigdata/jdk'#向系统环境变量中添加 JAVA_HOM...原创 2019-09-19 12:01:13 · 1253 阅读 · 1 评论