![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 91
小小明-代码实体
高阶数据处理玩家带你高端姿势玩数据!!!关注我发现更多精彩~
展开
-
DMP数据处理之统一用户识别
项目背景与需求DMP项目介绍随着互联网的发展,互联网的广告推送逐渐诞生了AdNetwork(广告网络)、AdExchange和DSP 需求方平台。互联网的广告资源非常丰富,除了微博,微信这样的大平台外,很多小媒体也能够提供大量优质的广告位。大量的小媒体组成了一个很大的盘子,于是有AdNetwork平台为对接广告主和媒体,为广告主提供统一的界面,联络多家媒体, 行成统一的定价。但AdNetwork 不止一家,小媒体们会选择不同的 AdNetwork,很多广告主依然面临选择困难。很多优质媒体由于不满意A原创 2022-02-21 11:53:15 · 18005 阅读 · 38 评论 -
PySpark求解连通图问题
前文回顾:PySpark与GraphFrames的安装与使用https://xxmdmst.blog.csdn.net/article/details/123009617networkx快速解决连通图问题https://xxmdmst.blog.csdn.net/article/details/123012333前面我讲解了PySpark图计算库的使用以及纯python解决连通图问题的两个示例。这篇文章我们继续对上次的连通图问题改用PySpark实现。需求1:找社区刘备和关羽有关系,说明他原创 2022-02-20 21:31:26 · 18055 阅读 · 42 评论 -
PySpark与GraphFrames的安装与使用
pandas快速升级到spark,简单丝滑,值得拥有。原创 2022-02-18 19:12:23 · 16089 阅读 · 28 评论 -
linux下安装Anaconda以及配置jupyter的远程访问
文章目录下载Anaconda安装使用anaconda配置jupyter支持远程访问配置jupyter使用密码访问后台运行jupyter前言已经有超过三人像我反应使用网上的教程Anaconda有问题,有的装不了,有的装的直接整的自己yum命令用不了,linux服务器都被整费。为此我给大家写的简单的安装教程,避免大家可能踩的坑。下载Anaconda去 https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive或https://repo.anaconda原创 2020-05-10 19:56:53 · 28283 阅读 · 1 评论 -
kettle如何连接hive
文章目录配置测试配置kettle版本:kettle-6.1.0.1_07270修改kettle-6.1.0.1_07270\plugins\pentaho-big-data-plugin\plugin.properties将active.hadoop.configuration改为hive:active.hadoop.configuration=hive再进入kettle-6.1.0.1_07270\plugins\pentaho-big-data-plugin\hadoop-configu原创 2020-05-10 07:40:18 · 33223 阅读 · 2 评论 -
windows中直接使用kafka和zookeeper,以及zk的图像化工具的使用
文章目录windows中直接使用kafka和zookeeper,以及zk的图像化工具的使用启动并访问zookeeper图形化访问zookeeper的工具ZkInspector启动方法ZkInspector的使用启动并访问kafka测试kafka删除主题后出现问题测试数据的写入和读取kafka中的配置文件windows中直接使用kafka和zookeeper,以及zk的图像化工具的使用首先在ht...原创 2020-05-06 16:35:02 · 33953 阅读 · 1 评论