- 博客(10)
- 收藏
- 关注
RSS订阅原创 Hadoop集群搭建(一)
Hadoop集群搭建（一） 准备工作 编写集群分发脚本 1.先创建bin目录，在/home/hadoop/bin下存放的脚本，hadoop用户可以在系统任何地方直接执行 [hadoop@node120 ~]$ mkdir bin 2.在/home/hadoop/bin目录下创建xsync文件，以便全局调用 [hadoop@node120 bin]$ cd /home/hadoop/bin/ [hadoop@node120 bin]$ vim xsync 在该文件中编写如下代码 #!/bin/bash #
2021-11-28 16:22:41
1370
原创 7月2号面试题
7月2号面试题 list1 = [10,'a'] list2 = [123] list3 = [10,'a'] [2,4,6,8] 1,1,1 1,2,1 3,2,3 [] python是一门解释性语言，运行一次解释一次，不足之处就是运行慢 这两个是python中的可变参数，*args表示任何多个无名参数，是一个tuple，**kwargs表示关键字参数 a = [1,1,5,7,7,2] print(list(set(a))) requests访问
2021-07-03 09:55:39
101
原创 6月28号公司面试题
6月28号公司面试题 1.定义A=(“a”,”b”,”c”,”d”)，执行del A[2]后的结果为（A） A.(“a”,”b”,”d”) B.(“a”,”b”,”c”) C.(“a”,”c”,”d”) D.异常 2.string = “(1),(0)”; string = string.format(“Hello”,”Python”),请问将string打印出来为(B) A.Hello,Python B.(1),(0) C.Python,Hello D.Hello,Hello 3.定义A=[1,2,3,4
2021-07-01 21:05:26
123
原创 华为云鲲鹏云服务器gcc编译源代码实验
华为云鲲鹏云服务器gcc编译源代码实验 将文件上传到服务器中 进行预处理：生成.i文件 [root@node gcc编译使用源代码]# gcc -E main.c -o main.i [root@node gcc编译使用源代码]# gcc -E sqrtSum.c -o main.i [root@node gcc编译使用源代码]# ll total 100 -rw-r--r-- 1 root root 375 May 28 16:34 main.c -rw-r--r-- 1 root root
2021-05-28 17:20:28
677
原创 Java实现Kafka生产消费
Java实现Kafka生产消费 Kafka核心API Kafka有四个核心Api producer API发布消息到1个或多个topic consumer API来订阅1个或多个topic，并处理产生的消息 streams API充当一个流处理器，从1个或多个topic消费输入流，并产生一个输出流或多个topic，有效地将输入流转换到输出流 connect API允许构建或运行可重复使用的生产者或消费者，将topic链接到现有的应用程序或数据系统 开发准备 开发工具Java，使用IDEA集成环境，构建工
2021-04-14 11:31:17
1427
原创 带有Kerberos认证的Kafka
带有Kerberos认证的Kafka 对topic的增删查，生产者消费者的命令 1.需要刷新为Kafka用户进行Kerberos认证 cd /etc/security/keytabs/ [root@bigdata-hadoop-data--1 keytabs]# klist -kt kafka.service.keytab Keytab name: FILE:kafka.service.keytab KVNO Timestamp Principal ---- -----------
2021-04-12 14:46:24
952
原创 带有Kerberos认证的Kafka
带有Kerberos认证的Kafka 对topic的增删查，生产者消费者的命令 1.需要刷新为Kafka用户进行Kerberos认证 cd /etc/security/keytabs/ [root@bigdata-hadoop-data--1 keytabs]# klist -kt kafka.service.keytab Keytab name: FILE:kafka.service.keytab KVNO Timestamp Principal ---- -----------
2021-04-12 14:40:39
652
原创 Spark SQL
Spark SQL 文章目录Spark SQLSpark 介绍Apache Spark 简介Apache Spark的特性速度支持多种语言高级分析Spark基于HadoopSpark的组件Apache Spark CoreSpark RDD弹性分布式数据集MapReduce中的数据共享缓慢MapReduce迭代运算MapReduce上的交互操作使用Spark RDD进行数据共享Spark RDD的迭代操作在星火RDD交互式操作Spark SQL 简介Spark SQL的特性集成统一数据访问Hive兼容性标准
2021-04-02 15:05:26
185
原创 HBase的安装和编程实践
HBase的安装和编程实践 文章目录HBase的安装和编程实践1.HBase2.4.2安装1.1 解压安装包1.2 将解压的文件名hbase-2.4.2改为hbase1.3 配置环境变量1.4 查看HBase版本，确定hbase安装成功2.HBase配置2.1 伪分布式配置3.编程实践1.利用Shell命令1.1 HBase中创建表1.2 HBase数据库基本操作1.3 查询表历史数据1.4 退出HBase数据库表操作 1.HBase2.4.2安装 1.1 解压安装包 解压到/usr/local [root
2021-04-01 16:21:56
1044
原创 通过二进制安装Hadoop集群
通过二进制安装Hadoop集群 此前需完成三台机器的免密登录 1.下载二进制Hadoop安装包(在三台节点上都执行) [root@hadoop-master hadoop]# tar -xvzf hadoop-3.1.4.tar.gz -C /usr/local/hadoop/ [root@hadoop-master hadoop]# mkdir -p /usr/local/hadoop [root@hadoop-master hadoop]# mv hadoop-3.1.4-src /usr/local
2021-03-31 16:07:12
229
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人