大数据技术档
大数据技术体系:hadoop、hdfs、hbase、hive、spark、sqoop等等。
霍先生的虚拟宇宙网络
从事软件开发工作多年,拥有较为丰富的开发经验,主导多个大型项目的研发工作,丰富的项目经验。
设计软件架构和撰写软件方案等。
展开
-
当我问chatgpt “你的意识相当于人类几岁?” 直接给我屏蔽了。
问了微软版本的chatgpt问题后 直接给我屏蔽了。原创 2023-02-25 14:59:36 · 360 阅读 · 0 评论 -
discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured
设置elasticsearch 局域网访问后,无法启动提示如上错误原创 2022-08-29 14:38:35 · 1593 阅读 · 0 评论 -
智能淘宝客系统架构图
流程: 1. 系统通过web微/手机微/获取用户的消息 2.关键字分析 3.传给后台淘宝客 4.后台自动搜索阿里妈妈/自动创建推广位/自动下载商品 5.分析结果(分析指标:价格/图片数/购买数/评论数/) 6. 返回微信好友 ...原创 2020-12-30 19:05:26 · 583 阅读 · 0 评论 -
kafka 从入门到精通2 、 创建kafka 生产者与消费者实例
首先创建一个生产者: package org.training.hadoop.kafka; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.Producer; import org.apache.kafka.clients.producer.Pro...原创 2020-03-03 00:05:07 · 796 阅读 · 0 评论 -
2020年,kafka面试题总结。
总结的都是最常见问到的问题: 问题1:什么是Apache Kafka? 答:Apache Kafka是一个发布-订阅开源消息代理应用程序。这个消息传递应用程序是用“scala”编码的。基本上,这个项目是由Apache软件启动的。Kafka的设计模式主要基于事务日志设计。 问题2:Kafka中有哪几个组件? 答:Kafka最重要的元素是: 主题:Kafka主题是一堆或一组消息。 生产...原创 2020-01-22 21:18:38 · 1922 阅读 · 0 评论 -
Hbase创建表。查询表。Java API 实现
需求: 直接上代码: package hbase_test; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.*; import org.apache.hadoop.hbase.util.Byte...原创 2019-08-14 23:28:05 · 3337 阅读 · 0 评论 -
codis redis集群 搭建
codis redis集群 github开源地址 Codis官方开源地址 Codis官方中文文档 准备工作 下载Codis 最新安装包 codis3.2.2-go1.9.2-linux.tar.gz 下载组件Zookeeper 最新安装包 zookeeper-3.4.9.tar.gz 下载 Java JDK jdk-8u111-linux-x64.tar.gz 1.安装Java ...原创 2019-08-09 14:23:35 · 447 阅读 · 0 评论 -
KafKa安装和启动
环境配置 Java: JDK 1.8(推荐)或者JDK 1.7(jdk-7u51或者更新版本) 单机版 下载Kafka安装文件kafka_2.10-0.10.0.1.tgz Kafka版本:kafka_2.10-0.10.0.1 地址:百度网盘或者Kafka官网(https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.0.1/...原创 2019-08-08 14:19:59 · 672 阅读 · 0 评论 -
大数据菜鸟实战一:使用flume收集数据到KafKa
最近在学习大数据相关的知识,实在记性不好了。都说好记性不如烂笔头这是真的啊!!!! 1. 安装flume ,kafka这里不多说,主要演示下怎么实现使用flume收集文件到KafKa. 2.进入到flume 下的Conf下编写配置文件:hcytest1.properties 文件内容如下: LogAgent.sources = mysource LogAgent.channe...原创 2019-08-05 22:05:28 · 874 阅读 · 0 评论