大数据
文章平均质量分 83
北桥苏
专注后端实战技术分享,不限于PHP,Python,JavaScript, Java等语言,致力于给猿友们提供有价值,有能量的内容
展开
-
医疗知识图谱问答 ——Neo4j 基本操作
说到问答机器人,就不得不说一下 ChatGPT 啦。一个预训练的大预言模型,只要是人类范畴内的知识,似乎他回答得都井井有条,从写文章到写代码,再到解决零散琐碎的问题,不光震撼到我们普通人,就百度和阿里也因此紧追其后分别推出了文心一言和通义千问。所以好像我们也可以通过 GPT,并训练特定的数据来完成本业务下的问答。但是,那时出现了 OpenAI 在封号的事件,国内公司又担心以后形成垄断后收取高昂费用。于是,我打算自己弄一个 GPT,(打断…… 很显然不现实),但是呢!原创 2023-08-01 14:43:05 · 851 阅读 · 0 评论 -
用扩展的方式在 PHP 中使用 Kafka
由于之前在 PHP 中使用 Kafka 是通过 composer 包的方式,由于nmred/kafka-php 很久没有维护,并且网上相关问题的文章也比较少。所以我这次换成 PHP 扩展RdKafka 继续使用,主要介绍扩展安装和这种方式的基本操作。...原创 2022-06-17 10:06:16 · 672 阅读 · 0 评论 -
在inteillj idea中使用Spark操作Hive
前言: 都知道,小编前面已经简单介绍过在windows下hadoop和hive环境搭建和基本使用。这次的Spark有点突兀,但是也可以先忽略,重要的是先在IDEA中安装bigData插件连接hadoop已经HDFS,而后再简单介绍使用Spark操作Hive。Big Data Tools安装:1. 点击File, 选择Settings,再选择Plugins搜索Big Data Tools,最后下载安装。2. 下载完毕后,底部和右侧栏会多出Hadoop或Big Data ...原创 2022-05-06 09:21:36 · 974 阅读 · 0 评论 -
浅谈Kafka2.8+在Windows下的搭建与使用
前言: 周末空闲时间无意找到了一套个性化推荐的源码,整体项目运用了SSH,HDFS,Flume,Hive,Kafka,Spark,Scala等。运行时,本来通过spark计算业务埋点数据时,却发现本地没有Kafka。因为我一直也没使用过Kafka,所以也作为新人,浅谈以下Kafka的环境安装与分别在PHP,Scala中的使用。对比:1. 横向,相比其他中间件。 关于kafka与其他消息中间件的比较,网上很多的博主,不管是从运行原理还是中间件架构都有很详细...原创 2022-04-14 13:17:01 · 2033 阅读 · 0 评论 -
windows下Hive搭建踩坑汇总
前言: Hive是一个基于Hadoop的数据仓库工具,以一种类SQL的HQL语句操作Hadoop数据仓库(HDFS等)。所以本地windows安装前需要先搭建Hadoop。前面文章已经大概介绍了环境搭建和踩坑汇总,所以这里也依旧只是介绍基础的安装方法。因为关于Hive的安装,网上其实有很多文章,这里更多的是小北在安装过程中的遇到的各种坑的汇总以及解决方法。环境:1. windows102. hadoop2.7.73.mysql-connector-java-5.1.7...原创 2022-02-21 09:48:29 · 1787 阅读 · 0 评论 -
Windows下hadoop环境搭建之NameNode启动报错
前言: 因为平时工作和日常接触到的大都是的中型项目,所以少有个性化推荐等涉及大数据的功能。但是后期应该也会在自己项目中添加信息推荐模块,所以就开始关注spark,hadoop,Thrift等工具,以下就以hadoop先开始,包括环境搭建和配置过程中踩坑过程。 关于hadoop的环境搭建,网上也有各种各样的教程。拿来直接按着他们的方法来,前期当前问题不大,但是呢,可能在安装过程中由于每个工具的版本不一致。又或者配置中文件路径不一样等等都很可能导致踩坑无数。不管是开发调测bu...原创 2022-02-16 09:42:00 · 4996 阅读 · 1 评论