- 博客(48)
- 资源 (35)
- 收藏
- 关注
转载 ubuntu(linux)下source、sh、bash、./执行脚本的区别
ubuntu(linux)下source、sh、bash、./执行脚本的区别是什么,如何运行shell程序,如何在shell程序以及后续脚本中使用同一个变量,这些在工作中经常用到, 我找到如下的文章,再加深复习一下。1.source命令用法:source FileName作用:在当前bash环境下读取并执行FileName中的命令。该filename文件可以无”执行权限”注:该命令通常用命令“.”来
2015-06-29 20:31:47 2135
转载 每天一个linux命令(50):crontab命令
转自:http://www.cnblogs.com/peida/archive/2013/01/08/2850483.html前一天学习了 at 命令是针对仅运行一次的任务,循环运行的例行性计划任务,linux系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作,因此这个系统服务是默认启动的。另外, 由于使用者自己也可以设置计划任务
2015-06-29 20:18:03 2360
转载 利用sqoop将hive数据导入导出数据到mysql
运行环境 centos 5.6 hadoop hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具在使用过程中可能遇到的问题:sqoop依赖zookeeper,所以必须配置ZOOKEEPER_HOME到环境变量中。sqoop-1.2.0-CDH3B4依赖hadoop-core-0.20
2015-06-29 20:14:17 1078
转载 Hive基本命令整理
创建表: hive> CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns, the first being an integer and the other a string创建一个新表,结构与其他一样 hive> create table new_ta
2015-06-28 15:01:48 599
原创 Hadoop开发过程中遇到的问题和解决方法
先上正确运行的显示: 错误1:变量为IntWritable,接收的是LongWritable,如下图: 原因,多写了参数reporter,如下图: 错误2:数组超出边界,如下图: 原因:设置了combine类,如下图: 错误3:nullpointerexception异常,如下图: 原因:静态变量为null,赋值即可,如下图: 错误4:进入了map,但是无法
2015-06-28 15:00:33 2740
原创 Linux---修改用户的密码
附件参考:创建用户、设置密码、修改用户、删除用户: useradd testuser 创建用户testuser passwd testuser 给已创建的用户testuser设置密码 说明:新创建的用户会在/home下创建一个用户目录testuser usermod –help 修改用户这个命令的相关参数 userdel testuser 删除用户testuser rm -rf test
2015-06-27 12:49:06 961
转载 程序员常去的14个顶级开发社区
转自: http://www.codeceo.com/article/14-communities-programmer-go.html作为程序员,选择好合适的开发社区对提高自己的编程能力会有很大的帮助,我也说不出为什么,但是一些优秀的实时开发社区确实能帮你积累不少开发经验。下面这张图列出了14个程序员经常逛的顶级开发社区,作为程序员,你应该要了解其中一个或者最好是多个,并且学会使用它们,利用里面的
2015-06-27 12:37:26 700
原创 Git步步进阶---简明 Git 命令速查表(中文版)
创建复制一个已创建的仓库:$ git clone ssh://user@domain.com/repo.git 创建一个新的本地仓库:$ git init 本地修改显示工作路径下已修改的文件:$ git status 显示与上次提交版本文件的不同:$ git diff 把当前所有修改添加到下次提交中:$ git add 把对某个文件的修改添加到下次提交中:$ git add -p 提交
2015-06-27 12:33:38 834
转载 欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2015-06-27 12:28:35 563
原创 mysql---mysql -e详解
可以用shell脚本操作mysql数据库,使用mysql的-e参数可以执行各种sql的(创建,删除,增,删,改、查)等各种操作 。用法mysql -hhostname -Pport -uusername -ppassword -e 相关mysql的sql语句,不用在mysql的提示符下运行mysql,即可以在shell中操作mysql的方法。实例:#!/bin/bas
2015-06-26 00:05:44 58756
转载 Centos 6.2 安装Mysql笔记
1、安装命令# yum install mysql-server mysql2、查看是否安装正确# chkconfig --list mysqld 3、启动 (1)、启动服务:# service mysqld start (2)、停止服务: # mysqladmin -u root -p shutdown
2015-06-18 18:12:51 619
转载 Hive安装与配置——深入浅出学Hive
目录:初始HiveHive安装与配置Hive 内建操作符与函数开发Hive JDBChive参数Hive 高级编程Hive QLHive Shell 基本操作hive 优化Hive体系结构Hive的原理 配套视频课程 第一部分:软件准备与环境规划Hadoop环境介绍
2015-06-18 15:00:11 864
转载 hive搭建笔记(ubuntu)
在hadoop单机环境搭建成功后,可以搭建hive。在hdfs上建目录:[plain] view plaincopy$ hadoop fs -mkdir /tmp $ hadoop fs -mkdir /user/hive/warehouse 添加权限:[plain] view plaincopy
2015-06-18 14:43:08 779
转载 Centos下安装MySQL
安装环境:Linux服务器CentOS 5.5安装版本:mysql-5.5.8.tar.gz1、安装 cmake 编译器。1)、下载cmake#cd /usr/local/src#wget http://www.cmake.org/files/v2.8/cmake-2.8.4.tar.gz2)、解压cmake#tar -zvxf cmake-
2015-06-18 14:42:09 636
转载 Centos下MySQL使用总结
一、MySQL安装 Centos下安装mysql 请点开:http://www.centoscn.com/CentosServer/sql/2013/0817/1285.html二、MySQL的几个重要目录 MySQL安装完成后不象SQL Server默认安装在一个目录,它的数据库文件、配置文件和命令文件分别在不同的目录,了解这些目
2015-06-18 14:37:40 698
转载 MapReduce编程基础
. WordCount示例及MapReduce程序框架 首先通过一个简单的程序来实际运行一个MapReduce程序,然后通过这个程序我们来哦那个结一下MapReduce编程模型。下载源程序:/Files/xuqiang/WordCount.rar,将该程序打包成wordcount.jar下面的命令,随便写一个文本文件,这里是WordCountMrtrial,并上传到hdfs上,这里的路径是
2015-06-17 23:34:46 616
转载 StringBuilder的实现与技巧
在上一篇进一步了解String 中,发现了string的不便之处,而string的替代解决方案就是StringBuilder的使用..它的使用也很简单System.Text.StringBuilder sb = new System.Text.StringBuilder();这样就初始化了一个StringBuilder ..之后我们可以通过Append()来追加字符串填充到sb中..在你初始化
2015-06-17 23:33:19 684
转载 hadoop 伪分布式环境配置
http://xuyuanshuaaa.iteye.com/blog/1063303一. 概要 经过几天的调试,终于在Linux Cent OS 5.5下成功搭建Hadoop测试环境。本次测试在一台服务器上进行伪分布式搭建。Hadoop 伪分布式模式是在单机上模拟 Hadoop 分布式,单机上的分布式并不是真正的伪分布式,而是使用线程模拟分布式。Hadoop 本身是无
2015-06-17 23:30:52 648
转载 Hadoop学习笔记之在Eclipse中远程调试Hadoop
插件话说Hadoop 1.0.2/src/contrib/eclipse-plugin只有插件的源代码,这里给出一个我打包好的对应的Eclipse插件:下载地址下载后扔到eclipse/dropins目录下即可,当然eclipse/plugins也是可以的,前者更为轻便,推荐;重启Eclipse,即可在透视图(Perspective)中看到Map/Reduce。配置
2015-06-17 23:29:40 691
转载 hadoop启动后jps没有namenode
hadoop启动后jps没有namenode一般都是由于两次或两次以上格式化NameNode造成的,有两种方法可以解决:1.删除DataNode的所有资料2.修改每个DataNode的namespaceID(位于/home/hdfs/data/current/VERSION文件中)或修改NameNode的namespaceID(位于/home/hdfs/name/curre
2015-06-17 23:28:09 11087
转载 hadoop2.5.2+zookeeper3.4.6+hbase0.99.2
一、hadoop安装参考http://blog.csdn.net/bahaidong/article/details/41865943二、zookeeper安装用户为hadoop,安装目录为/opt下面上传安装文件到/opt下面root用户解压[root@master opt]$ tar -zxvf zookeeper-3.4.6.tar.gz
2015-06-17 23:00:42 1049
转载 eclipse 下安装hadoop2.5.2插件
其实更好的方法是:网上有现成的插件下载下来完美可用!但还是要学习:一.hadoop集群环境配置(完整配置参考上一篇博客) 1.在master节点上(master)修改hdfs-site.xml加上以下内容 dfs.permissions false 旨在取消权限检查,原因是为了解决我在windows机器上配置eclipse连接hadoop服务器时,配置map
2015-06-17 22:59:51 1427
转载 CentOS 7.0编译安装配置mysql-5.6.20
首先centos7 已经不支持mysql,因为收费了你懂得,所以内部集成了mariadb,而安装mysql的话会和mariadb的文件冲突,所以需要先卸载掉mariadb,以下为卸载mariadb步骤。#列出所有被安装的rpm packagerpm -qa | grep mariadb#卸载rpm -e mariadb-libs-5.5.37-1.el7_0.x86_6
2015-06-17 22:57:53 843
转载 HDFS分布式文件系统常用命令
1、列出本地文件系统命令:[hadoop@master hadoop-2.5.2]$ bin/hadoop fs -ls file:///2、查看文件系统组成各个文件的块:[hadoop@master hadoop-2.5.2]$ bin/hadoop fsck / -files -blocks3、将本地文件,复制到HDFS中:[hadoop@maste
2015-06-17 22:56:48 960
转载 hadoop2.5.2下安装Hive0.14
1、安装hadoop环境http://blog.csdn.net/bahaidong/article/details/418659432、安装mysqlhttp://write.blog.csdn.net/postedit/420997893、Hive0.14下载地址,及解压http://mirrors.cnnic.cn/apache/hive/stab
2015-06-17 22:55:50 841
转载 JAVA 正则表达式 (超详细)
新网站上线 欢迎大家网站交易中心 在这里你可以购买或者出售你的网站。网站信息发布中心 在这里有各种交易信息的发布。同时提供一些软件的免费使用(附有源码)。网站博客系统 这里你可以注册自己的博客。一个账户无限量博客联系方式:support@websiteempire.cnQQ:563828566MSN:zhuhailin123@hotmail.com
2015-06-17 21:20:09 776
转载 Linux 常用的网络命令
主要有以下几个命令: ifconfig:查询、设置网卡和IP网段等相关参数。ifup、ifdown:这两个文件是,通过更简单的方式来启动网络接口。Route:查询、设置路由表(Route table)。ip:复合式的命令,能直接修改上述命令提到的功能。 因为内容有点多,就整理、摘录了一些要点,如下所示: ifconfig、ifup、ifdown 这 3个命令都用于启动
2015-06-17 21:18:06 798
转载 hadoop 2.5.2 + hive1.1.0 单机环境安装步骤
环境 - ubuntu server 14.04- mysql-第一步 添加hadoop组和用户1 创建Hadoop用户组stat@localhost:/usr/lib/jvm/jdk1.7.0_79$ sudo addgroup hadoop #[sudo] password for stat: Adding group `hadoop' (GID 1
2015-06-17 21:15:15 1580
转载 hadoop 创建用户及hdfs权限,hdfs操作等常用shell命令
sudo addgroup hadoop#添加一个hadoop组sudo usermod -a -G hadoop larry#将当前用户加入到hadoop组sudo gedit etc/sudoers#将hadoop组加入到sudoer在root ALL=(ALL) ALL后 hadoop ALL=(ALL) ALL修改hadoop目录的权限sudo chown
2015-06-17 21:09:34 5519
转载 ssh localhost 免密码登陆(图解)
每次搞ssh locahost无密码登陆都要查半天,这次记录一下,以备不时之需假设系统中有用户test,属于用户组test,1. 首先确认能否不输入口令就用ssh登录localhost:$ ssh localhost输出如下所示:2. 如果不输入口令就无法用ssh登陆localhost,执行下面的命令:$ ssh-keygen -t dsa -P '' -f ~/...
2015-06-17 20:43:48 1466
转载 Hadoop---Hadoop中的各种排序
本篇博客是金子在学习hadoop过程中的笔记的整理,不论看别人写的怎么好,还是自己边学边做笔记最好了。1:shuffle阶段的排序(部分排序)shuffle阶段的排序可以理解成两部分,一个是对spill进行分区时,由于一个分区包含多个key值,所以要对分区内的按照key进行排序,即key值相同的一串存放在一起,这样一个partition内按照key值整体有序了。
2015-06-13 18:37:52 846
转载 Hadoop---mapreduce排序和二次排序以及全排序
转自:http://blog.csdn.net/evo_steven/article/details/17139123自己学习排序和二次排序的知识整理如下。1.Hadoop的序列化格式介绍:Writable2.Hadoop的key排序逻辑3.全排序4.如何自定义自己的Writable类型5.如何实现二次排序1.Ha
2015-06-13 18:36:51 4838
转载 Linux命令---iostat命令详解
简介iostat主要用于监控系统设备的IO负载情况,iostat首次运行时显示自系统启动开始的各项统计信息,之后运行iostat将显示自上次运行该命令以后的统计信息。用户可以通过指定统计的次数和时间来获得所需的统计信息。 语法iostat [ -c ] [ -d ] [ -h ] [ -N ] [ -k | -m ] [ -t ] [ -V ] [ -x ] [ -
2015-06-08 21:34:09 696
原创 Mysql中的笔试和面试---数据库设计规范化的五个要求
一:表中应该避免可为空的列;二:表不应该有重复的值或者列;三:表中记录应该有一个唯一的标识符 在数据库表设计的时候,数据库管理员应该养成一个好习惯,用一个ID号来 唯一的标识行记录,而不要通过名字、编号等字段来对纪录进行区分。每个表都应该有一个ID列,任何两个记录都不可以共享同一个ID值。另外,这个ID值最 好有数据库来进行自动管理,而不要把这个任务给前台应用程序。否则的
2015-06-08 21:31:55 842
转载 LIBRARY_PATH和LD_LIBRARY_PATH环境变量的区别
LIBRARY_PATH和LD_LIBRARY_PATH是Linux下的两个环境变量,二者的含义和作用分别如下:LIBRARY_PATH环境变量用于在程序编译期间查找动态链接库时指定查找共享库的路径,例如,指定gcc编译需要用到的动态链接库的目录。LD_LIBRARY_PATH环境变量用于在程序加载运行期间查找动态链接库时指定除了系统默认路径之外的其他路径,注意,LD_LIBRAR
2015-06-08 21:27:14 1150
转载 UML类图几种关系的总结
在UML类图中,常见的有以下几种关系: 泛化(Generalization), 实现(Realization),关联(Association),聚合(Aggregation),组合(Composition),依赖(Dependency) 1. 泛化(Generalization) 【泛化关系】:是一种继承关系,表示一般与特殊的关系,它指定了子类如何特
2015-06-08 21:25:42 724
Natural Language Processing with Deep Learning CS224N/Ling284
2024-09-09
RFC9220 - HTTP Datagrams and the Capsule Protocol
2024-08-02
RFC9297 - Bootstrapping WebSockets with HTTP/3
2024-08-02
RFC9114 - HTTP/3
2024-08-02
RFC9000 - QUIC: A UDP-Based Multiplexed and Secure Transport
2024-08-02
RFC8446 -The Transport Layer Security (TLS) Protocol Version 1.3
2024-08-02
Web3+Decentralized+去中心化+存储
2024-04-30
Chainbase+Web3+APi+Data warehouse
2024-04-30
Graph+Web3+检索
2024-04-30
Web3+Nostr+区块链+去中心化+Relay+抗审查
2024-04-30
VISION FOR A HETEROGENEOUS MULTI-CHAIN FRAMEWORK DRAFT
2023-12-24
Security audit report for imtoken wallet
2023-12-24
Decentraland is a blockchain-based virtual world
2023-12-24
力场的定位是一个以公链共建挖矿为核心的社区平台以及UGC平台
2023-12-24
A Novel Metastable Consensus Protocol Family for Cryptocurrencie
2023-12-24
Measuring Ethereum Network Peers
2023-12-24
Firework Games White Paper
2023-12-24
CS251 Final Exam 2021
2023-12-24
Generic Construction of Ring Signatures with Efficient
2023-12-24
The Gridex Protocol
2023-12-24
Efficient Zero-Knowledge Arguments for Arithmetic Circuits
2023-12-24
KishuInu Whitepaper
2023-12-24
On the Instability of Bitcoin Without the Block Reward
2023-12-24
Shorter Proofs for Privacy-Enhanced Distributed Ledger
2023-12-24
Attacking Threshold Wallets
2023-12-23
This paper provides an architectural overview of the Avalanche
2023-12-23
Avalanche Native Token ($AVAX) Dynamics
2023-12-23
ZKSwap是一个基于 ZK-Rollup 的 Layer2 代币Swap协议
2023-12-23
ZEND White Paper
2023-12-23
KZen Curv Security Audit
2023-12-23
为什么虚拟资产值得投资:元宇宙虚拟地产报告
2023-10-27
元宇宙:未来数字绿洲入口已打开
2023-10-27
Code Assessment of Liquidations 2.0 Smart Contracts
2023-10-27
Scalable and Probabilistic Leaderless BFT Consensus through Meta
2023-10-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人