
大数据技术开发
文章平均质量分 62
大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术,是指从各种各样类型的数据中,快速获得有价值信息的能力。
沙漏无语
沙漏是时间的诗篇,是岁月的印记,承载着过往与未来。
展开
-
Windows docker下载minio出现“Using default tag: latestError response from daemon”
Windows docker下载minio出现。此类情况,一般为镜像地址问题。原创 2025-02-26 09:41:26 · 1549 阅读 · 0 评论 -
ollma常用命令
使用 Modelfile 来创建一个新模型。你需要提供一个包含模型信息的 Modelfile。将本地模型推送到模型注册表中,以便他人或其他系统使用。列出本地所有可用的模型,可以在这里查找模型名称。查看特定模型的详细信息,例如模型名称、版本等。复制一个模型到另一个位置或给定名称的地方。显示当前 ollama 工具的版本信息。从模型注册表中拉取一个模型,供本地使用。运行一个已安装的模型,执行某些任务。显示当前正在运行的模型列表。删除一个已安装的模型。原创 2025-02-14 15:55:00 · 1796 阅读 · 0 评论 -
大数据全套教学视频,看仔细了是视频!
1、Hadoop—Spark企业应用实战强烈推荐版视频教程 链接: https://pan.baidu.com/s/1F082k-5oME38T-L8_AJn5g 密码: kfm72、Hadoop+Storm+Spark入门进阶实战视频教程链接: https://pan.baidu.com/s/1qZpoILm 密码: xtmb3、Hadoop大数据工程师零基础入门进阶实战视频课程...原创 2019-02-15 09:13:56 · 1101 阅读 · 1 评论 -
在hive中执行sql语句:SemanticException org.apache.hadoop.hive.ql.metadata.HiveException:
报错,查看日志文件,如下的报错:原因:没有开启 metastore,需要先启动hive的metastore服务才行bin/hive --service metastore原创 2019-04-23 11:56:12 · 5384 阅读 · 0 评论 -
搭建Cloudera Manager环境
本文主要介绍如何搭建Cloudera Manager环境来管理大数据集群。这里注重的是搭建的过程,所以小编没用公司的服务器,而是在自己电脑上建了三台虚拟机(使用的是CentOS6.5),用作搭建Cloudera Manager环境。目录一、环境准备(在所有机器上操作)二、集群时间服务器三、MySQL的安装部署(在hadoop.cm01上安装即可)四、Cloudera Manag...原创 2019-03-01 10:39:22 · 666 阅读 · 0 评论 -
maven中搭建nexus-3.14私服
一、试验环境1、操作系统:Windows 10 2、nexus版本:nexus-3.14.0-04-win64Nexus常用功能就是:指定私服的中央地址、将自己的Maven项目指定到私服地址、从私服下载中央库的项目索引、从私服仓库下载依赖组件、将第三方项目jar上传到私服供其他项目组使用。二、安装1、下载地址:http://www.sonatype.com/download-os...原创 2018-12-10 14:20:13 · 1441 阅读 · 2 评论 -
myeclipse下搭建hadoop2.7.3开发环境
一 下载并编译 hadoop-eclipse-plugin-2.7.3.jar二 将hadoop-eclipse-plugin-2.7.3.jar放到myeclipse的安装目录下的plugins目录下,并重启myeclipse 在windows->preferences下可看见hadoop Map/Reduce界面,路径选择你WINDOWS下的hadoop解压后的路径。...原创 2018-12-21 10:43:33 · 261 阅读 · 0 评论 -
MR_wordcount的java编程实例
原创 2018-12-25 13:24:45 · 349 阅读 · 0 评论 -
hive中常用的时间处理函数
日期函数UNIX时间戳转日期函数:from_unixtime语法:from_unixtime(bigintunixtime[,stringformat])返回值:string说明:转化UNIX时间戳(从1970-01-0100:00:00UTC到指定时间的秒数)到当前时区的时间格式举例:hive>selectfrom_unixtime(13233...原创 2019-01-16 16:01:26 · 3937 阅读 · 0 评论 -
Centos6虚拟机搭建详细图解
新建虚拟机 下图选择中间那个,就没有后面的操作了,直接就好了 网络配置,NAT模式 设置ip ,根据NAT模式的网关,设置IP 开启虚拟服务,电脑要开启虚拟化,bilos中设置连接工具 CRT...原创 2019-01-09 10:32:09 · 91 阅读 · 0 评论 -
IP地址,子网掩码,默认网关,DNS服务器详解
为了更深入的学习TCP/IP协议,最近看了不少有关资料,收集整理记录如下,以备后面的使用和方便各位学习: IP地址,子网掩码,默认网关,DNS服务器是什么意思? (一) 问题解析001. 问: IP地址,子网掩码,默认网关,DNS服务器,有什么区别呀?我知道没有IP地址就不能上网,我也知道没设DNS就不能上外网,可它们都有什么功能,有什么区别呢?还有真奇怪,我的计算机没设...原创 2018-12-12 16:20:57 · 1108 阅读 · 1 评论 -
eclipse中安装hadoop插件并运行wordcount
1:首先下载我们需要的 hadoop-eclipse-plugin-2.7.3.jar,winutils.exe 和 hadoop.dll链接地址:2:解压hadoop软件,并且安装到D盘的一个英文路径3:把hadoop.dll和winutile.exe放到hadoop的bin文件夹里4:右击我的电脑-->属性-->高级系统设置里面要配置三个属性:(1)变...原创 2018-12-25 11:36:42 · 1482 阅读 · 0 评论 -
hive中的几种排序的区别
hive的排序有四种: order by ,sort by,distribute by,cluster by1、order byorder by 是最常用的一种排序,全局排序,所有的数据会在一个reducer上面进行排序,所以一般使用这个函数进行排序的时候速度较慢。需要指出来的是,在strict模式下,order by 后面是必须加上limit 进行限制的。2、sort by...原创 2019-04-23 16:04:42 · 1501 阅读 · 0 评论 -
Hbase基本概念
1. HBase简介1.1 什么是HBaseHBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。HBASE的目标是存储并处理大型的数据,更具体来说是仅需使用普通的硬件配置,就能够处理由成千上万的行和列所组成的大型数据。HBASE是Google Bigtable的开源实现,但是也有很多不同之处。比...原创 2019-04-25 09:39:03 · 1328 阅读 · 0 评论 -
eclipse中安装python插件
1.下载python.exe安装http://mirrors.sohu.com/python/2.6.5/python-2.6.5rc2.msiwin7安装时,中间有段时间需要等待很长时间2.下载pydevhttp://sourceforge.net/projects/pydev/files/pydev/Pydev%202.2.0/PyDev%202.2.0.zip/downloa...原创 2019-01-30 14:24:39 · 862 阅读 · 0 评论 -
CDH6.2安装失败了,如何重新安装
CDH6.2安装失败了,如何重新安装IT猿阅读(406)2020-03-28收藏0次评论1> 删除Agent节点的UUID #rm -rf /var/lib/cloudera-scm-agent/cm_guid2> 清空主节点CM数据库 进入主节点的mysql数据库,然后drop database cm;3> 删除Agent节点namenode和datanode节点信息 # rm -rf /opt/dfs/nn/* ...原创 2020-12-21 16:49:21 · 1010 阅读 · 0 评论 -
cdh集群迁移 ip更改
#---1.修改每个用户的hostsvi /etc/hosts#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6.localdomain6172.6.10.20 dip001172.6.10.21 dip002172.6.10.22 dip003172.6.10.23..原创 2020-12-21 15:53:21 · 366 阅读 · 0 评论 -
无法检测 Cloudera Manager Server:CDH安装的一个坑:could not contact scm server at localhost:7182, giving up
错误:在web界面安装 agent那一步,抛错,单击信息查看如下初步分析:是用localhost:7182 无法连接scm server尝试解决办法:1.检查关闭防火墙2.检查python版本2.6.63.检查/etc/hosts文件,重启网络service network restart4.检查/etc/sysconfig/network文件,重启网络service network restart5.检查/etc/resolv.conf文件,重启网络service network...原创 2020-12-16 14:43:54 · 1143 阅读 · 0 评论 -
CDH6.3.1企业版安装详细步骤
0. 主机规划虚拟机主机 IP 资源(CPU/内存/硬盘) 所在ESXi(IP) Tools 192.168.1.30 04 Core/8 GB/10 TB 192.168.1.201 cdh-server01 192.168.1.31 32 Core/64 GB/3 TB 192.168.1.202 cdh-agent01 192.168.1.41 16 Core/32 GB/3 TB 192.168.1.203原创 2020-12-03 13:36:02 · 922 阅读 · 0 评论