- 博客(12)
- 收藏
- 关注
原创 基于hadoop的HDFS JAVA API
HDFS Java API是用于与HDFS进行交互的Java编程接口,它提供了一组类和方法,用于实现对HDFS文件的读取、写入、删除和修改等操作。通过使用HDFS Java API,开发人员可以轻松地实现对大规模数据集的读取、写入和处理,从而充分发挥HDFS在分布式数据存储和处理中的优势。在使用HDFS Java API之前,需要创建一个Configuration对象,并设置相关的Hadoop配置信息,如HDFS的地址、副本数量等。它提供了丰富的功能和方法,可以进行文件的创建、读取、写入、删除等操作。
2023-12-28 11:40:06
671
1
原创 Hive基本操作
在删除表的时候,内部表的元数据和数据会被一起删除, 而外部表只删除元数据,不删除数据。例如,table总bucket数为32,tablesample(bucket 3 out of 16),表示总共抽取(32/16=)2个bucket的数据,分别为第3个bucket和第(3+16=)19个bucket的数据。创建表分区,在Hive中创建一个分区表goods,包含goods_id和goods_status两个字段,字符类型为string,分区为cat_id,字符类型为string,以“\t“为分隔符。
2023-12-19 23:48:43
1301
原创 ZooKeeper、Kafka集群搭配
将/data/kafka1目录下zookeeper-3.4.5-cdh5.4.5.tar.gz,解压缩到/apps目录下,并将解压缩的目录,重命名为zookeeper。切换到/data/kafka1目录下,将kafka的压缩包kafka_2.10-0.8.2.2.tgz解压到/apps目录下,并将解压缩后的目录,重命名为kafka。切换到/data/kafka1目录下,将kafka的压缩包kafka_2.10-0.8.2.2.tgz解压到/apps目录下,并将解压缩后的目录,重命名为kafka。
2023-12-19 23:42:54
37
原创 校园网弹不出浏览器的登录界面
如果在设置之前已经都是自动还是打不开浏览器页面的话将两个都改成使用下面的ip地址然后在第一个的ip地址改成111 111 111 111然后点确定。有时候我们连接校园网的时候经常就是用浏览器打不开登录的界面。出来后再 重复将ip地址改成自动。这样就能打开浏览器的登录界面了。两个都改成自动获取ip地址。首先右键网络然后点击属性。再点击更改适配器设置。
2023-12-19 23:40:25
605
原创 kafka搭建
如果你想启动多个Broker,请确保每个Broker的配置文件中broker.id是唯一的,并且在不同的端口上监听。这里的--partitions表示Topic的分区数,--replication-factor表示每个分区的副本数。复制config/zookeeper.properties的样本配置文件,并根据需要修改其中的参数。rver.properties的样本配置文件,并进行必要的更改。使用kafka-topics.sh命令创建一个新的Topic。log.dirs是Kafka存储日志的目录。
2023-12-19 20:15:52
44
原创 基于hadoop的 SparkSQL,创建表 ,查询数据
的前身是Shark,Shark是伯克利实验室Spark生态环境的组件之一,它能运行在Spark引擎上,从而使得SQL查询的速度得到10-100倍的提升,但是,随着Spark的发展,由于Shark对于Hive的太多依赖(如采用Hive的语法解析器、查询优化器等等),制约了Spark的One Stack Rule Them All的既定方针,制约了Spark各个组件的相互集成,所以提出了SparkSQL项目。若未启动,切换到/apps/hadoop/sbin目录下,启动Hadoop。
2023-12-19 17:20:30
289
1
原创 数字图像处理-实验五
(1)利用边缘检测函数edge ()对灰度图像(house.tif)进行边缘检测,检测算子分别选择'roberts'、'sobel'、'prewitt'、LOG、'Canny'(其他参数选择:default),比较不同检测算子对边缘检测的效果;(2)利用工具箱函数imfilter()和如图1所示四种不同方向的线检测模板w1/w2/w3/w4对图像(Fig0908(a).tif)进行边缘检测,比较不同方向的检测算子对边缘检测的效果;算子通常对图像中细节和边缘有着较好的响应,但对噪声比较敏感。
2023-12-13 08:39:53
126
原创 实验二、网络命令使用
在具体配置时,要特别注意的交换机和路由器的有不同的配置状态,一般来说包括普通用户配置模式、特权模式、全局配置模拟和局部配置模式等,执行特定的配置命令需要在特定的配置状态,通过配置状态提示符可以知道设备处于什么配置模式。地址配置成不同的网段,将它们连接到的交换机的接口指派到不同的。5.验证不同VLAN间计算机的通信情况并配置单臂路由。不通),再通过单臂路由的配置,两台计算机又可以通信了。的配置会带来一些变化,实验时注意观察记录。具体的配置命令及结果如下,其中。的连通性,结果怎么样?的连通性,结果怎么样?
2023-12-13 08:22:07
89
1
原创 实验一-MATLAB图像简单操作函数的应用
是一款强大的高级技术计算软件,以其直观的编程环境、丰富的数值计算功能和广泛的工具箱而著称。其易用性、强大的数据可视化能力以及在教育和研究领域的广泛应用,使其成为科学计算和工程任务中不可或缺的工具,同时支持跨平台运行,具备与其他编程语言集成的灵活性。图像的某一个颜色分量,可以将其他两个颜色通道的像素值设置为零,只保留要显示的颜色通道的像素值。的图像处理工具箱提供了丰富的功能,可方便地处理和分析这些不同格式的图像数据。函数,可以方便地读取和处理不同格式的图像数据,满足各种图像处理和分析的需求。
2023-12-13 08:06:18
185
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人