Linux
文章平均质量分 67
记录Linux下开发和解决问题的过程
coder_szc
倚天照海花无数,流水高山心自知。
展开
-
SCONS编译和使用
背景scons是一个编译工具,其构建文件的语法于python类似,因此经常被一些开源项目使用。编译首先,下载源码压缩包https://sourceforge.net/projects/scons/,而后把zip文件上传到ubuntu,unzip解压,cd进入,使用python3进行编译root@rtlab-computer:/home/rtlab/szc#unzipSCons-4.1.0.post1.ziproot@rtlab-computer:/home/rtlab/szc#cd...原创 2021-07-17 10:50:27 · 2752 阅读 · 0 评论 -
Linux下使用内核list函数编程
如果我们有阅读Linux内核源码的经验,就会发现Linux内核中有红黑树、链表等数据结构的定义和操作,而且基本是可以直接拿来用的,但是因为这些数据结构及其API定义在内核源码文件中,我们在用户态开发程序是不能直接include的,所以要想使用它们,基本的方法就是复制一份对应文件出来,再对我们的数据结构做对应的修改,本文以链表为例说明这一过程。1、内核链表介绍Linux内核链表定义为list_head结构体,这是一个双向循环链表,也就是有前驱指针和后继指针。当使用链表时,我们需要自己的结构体(假.原创 2021-06-19 09:56:55 · 642 阅读 · 0 评论 -
记一次CentOS7虚拟机图形界面消失的解决方法
解决方法:1、修改/etc/inittab文件vim /etc/inittab将这两行的注释去掉multi-user.target:analogous to runlevel 3graphical.target: analogous to runlevel 5保存退出后,查看启动模式[root@scentos szc]# systemctl get-defaultgraphical.target重启机器,如果不行,转下一步2、安装桌面yum group...原创 2021-06-05 16:44:30 · 4412 阅读 · 1 评论 -
Ubuntu编译安装caffe
背景记录今年年初在ubuntu18.04上编译caffe的过程,非常的繁琐,仅供参考clone源代码root@rtlab-computer:/home/rtlab/szc# git clone https://github.com/BVLC/caffe.git然后进入caffe目录修改配置文件Makefile.config先复制一份Makefile.config.example,重命名为Makefile.config,再修改以下内容:a、去掉USE_CUDNN := 1、O原创 2021-05-22 12:44:56 · 610 阅读 · 3 评论 -
记一次Ubuntu台式机启动黑屏、命令行中文乱码、循环登录的解决过程
背景这是今年年初发生的一次意外,我的台式Ubuntu在昨天晚上还是正常运行的情况下,第二天却突然登录不进去,费了一番功夫才把问题解决,在此记录一下过程。特别说明,我的Ubuntu内核是由Litmus内核编译而来,且安装了英伟达驱动和CUDA,以往且之后没有启动问题,说明不是这三者的问题,就是一次意外启动黑屏闪烁经排查,需要安装lightdmroot@rtlab-computer:/home/rtlab# apt-get install lightdm然后配置root@rtla原创 2021-05-15 13:36:42 · 597 阅读 · 2 评论 -
Ubuntu安装gcc3.4并添加到备选项里
背景有时编译某个开源项目源码时需要安装不同版本的gcc或g++,而现有的gcc或g++又需要保留,这时可以采取配置备选项的方法让多个版本的可执行文件共存下载安装root@sundata:/data/szc# mkdir gcc-3.4 && cd gcc-3.4root@sundata:/data/szc/gcc-3.4# wget http://old-releases.ubuntu.com/ubuntu/pool/universe/g/gcc-3.4/gcc-3.4-ba原创 2021-05-08 10:09:31 · 536 阅读 · 0 评论 -
记CentOS7下升级gcc到9.3.0
背景最近要编译安装graph-tool,所以得把gcc从4.8升级到9.3,因为gcc9.1及之后才支持C++2017方法1、下载源码包https://mirrors.aliyun.com/gnu/gcc/gcc-9.3.0/2、解压,切入目录[root@scentosDynamicGraph]# tar -zxvf gcc-9.3.0.tar.gz[root@scentos DynamicGraph]# cdgcc-9.3.0/3、下载所需依赖[root@scen...原创 2020-09-10 09:59:06 · 2053 阅读 · 6 评论 -
CentOS7下MongoDB的安装和使用
目录背景安装客户端命令数据库命令集合命令数据类型及数据操作数据类型数据操作删除某个集合的记录数据库备份数据库恢复聚合分组$group投影$project过滤$match索引建立索引删除索引创建唯一索引建立复合索引结语背景总结下初夏学习MongoDB的笔记,这是一个可以存储大数据量的NoSQL数据库,支持分布式,存储基本格式就是json键值对安装1、修改yum文件,添加源[root@localh.原创 2020-09-08 11:10:08 · 634 阅读 · 0 评论 -
Sqoop在CentOS7下的安装使用
背景sqoop可以用在mysql、hdfs、hive、hbase等大数据组件之间迁移数据安装1、把sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tars上传到CentOS72、解压,改名字[root@localhost szc]# tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz[root@localhost szc]# mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha s原创 2020-07-12 22:08:52 · 661 阅读 · 0 评论 -
CentOS7下Hive的安装使用
目录背景安装配置运行命令插入数据表分桶正则serde存储格式排序和聚集子查询视图自定义函数写UDF写UDAF聚集函数表生成函数UDTF通用版表分区删除列动态分区导出表到文件系统查询复合结构中的元素内置函数case...when...then.else语句嵌套select语句浮点数比较like和rlikegroup by分组优化选项本地模式并行执行严格模式压缩解压缩分区宏命令RCFi原创 2020-07-12 21:56:28 · 1578 阅读 · 0 评论 -
CentOS7下安装使用HBase
目录背景数据结构安装启动hadoop、kafka、ZooKeeper解压hbase压缩包配置HBase启动hbase关闭hbase进入hbase命令行命令创建表,指定列族插入数据,指定行键、列族限定符和值扫描表获取单行数据删除数据(单元格)禁用并删除表让表支持多版本数据与hive集成与pig集成行键设计原则长度原则唯一原则散列原则协处理器的使用结语背景记录下HBase在CentOS7下的安装过程,请事原创 2020-07-12 20:27:12 · 921 阅读 · 0 评论 -
Hadoop2.5.0在CentOS7下的安装部署
背景记录下Hadoop2.5.0在CentOS7下安装部署的过程步骤1、新建cdh文件夹,把hadoop的压缩包解压到cdh文件夹里面#mkdir cdh#tar -zxvfhadoop-2.5.0-cdh5.3.6.tar.gz -C cdh2、切换到hadoop解压目录下的etc/hadoop目录,修改hadoop-env.sh、mapred-env.sh、mapred-site.xml.template、hdfs-site.xml、yarn-site.xml、core-sit.原创 2020-07-12 19:55:39 · 383 阅读 · 0 评论 -
CentOS7安装zookeeper
背景ZooKeeper是很多大数据组件(特别是kafka)都要用到的框架,在此记录下它在CentOS7下安装的过程步骤1、下载压缩包# wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz2、新建zookeeper目录,把压缩包解压其中# mkdir zookeeper# tar -zxvf zookeeper-3.4.9.tar.gz-C zookeepe..原创 2020-07-12 19:45:23 · 392 阅读 · 0 评论 -
CentOS7下安装使用kafka及其监控组件
背景分享一下这半年学习kafka的笔记简介kafka是分布订阅式生产者消费者模型架构:角色解释:1、broker:一台kafka服务器就是一个broker,里面有多个topic2、producer:向broker发送消息的结点,生产者3、consumer:从broker读取消息的结点,消费者4、consumerGroup:消费者组,里面的消费者负责不同分区的数据。同一个消费者组只能读取一个分区的作用5、topic:消息话题,用于消息分类6、partiti.原创 2020-07-12 19:40:28 · 1519 阅读 · 0 评论 -
Azkaban在CentOS7下安装和使用
背景这两天实在无聊...只能靠读论文、做笔记、学框架、打游戏消磨时间,想找个人说话都费劲,没想到在家比在学校还憋闷..闲言少叙书归正传,整理一下前几天学习Azkaban的笔记,操作环境依旧是CentOS7,前提环境是装了jdk8,如果配了Hadoop、hive、HBase更好。Azkaban和oozie一样都是任务调度工具,但它的webui界面比oozie可好多了,操作基本都在界面上完成安装、配置与启动安装需要三个文件,自行下载把其中的executor和web-serv.原创 2020-05-09 16:10:26 · 822 阅读 · 3 评论 -
CentOS7下oozie调度任务案例
背景以官方例子为例,记录下如何使用oozie调度任务,首先进入oozie的解压根目录调度普通任务1、解压oozie根目录里的oozie-examples.tar.gz# tar -zxvf oozie-examples.tar.gz2、在oozie根目录新建目录,将解压得到的examples里的app/shell目录复制其中# mkdir oozie-apps# cp...原创 2020-05-07 09:21:15 · 642 阅读 · 0 评论 -
CentOS7下oozie的部署与运行
背景整理下上个月学习CentOS7下部署运行oozie的笔记,里面用到的oozie和hadoop都是cdh版的安装部署Hadoop1、新建cdh文件夹,把hadoop和oozie的压缩包解压到cdh文件夹里面mkdir cdhtar -zxvf hadoop-2.5.0-cdh5.3.6.tar.gz -C cdhtar -zxvf oozie-4.0.0-cdh5.3.6....原创 2020-05-06 12:19:53 · 523 阅读 · 0 评论 -
CentOS安装docker
背景在windows下装完docker后,开始尝试在ubuntu下安装。但由于ubuntu14装完docker后,重启总是报错/sbin/bash:no such file or directory,只能重装系统,试了几次只能换CentOS,然后一次就成功了。使用的CentOS版本:CentOS7.8,64位CentOS安装安装其实没啥好说的,注意新建虚拟机时,最后一步要在自定义硬...原创 2020-04-21 11:48:07 · 197 阅读 · 0 评论 -
解决Ubuntu更新apt-get时报错哈希码不匹配
背景昨晚更新apt-get时由于太晚要睡觉,所以还没下载完就ctrl-c中断、关机了。今天重新更新时,报错如下Failed to fetch http://us.archive.ubuntu.com/ubuntu/dists/precise-updates/restricted/binary-i386/Packages Hash Sum mismatch解决方法只能清空原来下载的...原创 2020-02-18 12:19:25 · 525 阅读 · 0 评论 -
Xshell连接不了Ubuntu,但Ubuntu和主机可以ping通
背景昨天装好xshell6后,却连接不上ubuntu,而ubuntu可以和主机ping通,并且两者子网掩码一样,说明在同一网段。应该是ubuntu的防火墙和端口使能问题,参见文章https://blog.csdn.net/qq_40466467/article/details/80851025但进行到最后一步安装openssh-server时,发生错误。解决方法1、先安装...原创 2019-09-15 09:38:05 · 1142 阅读 · 1 评论