大数据通识
yyqq188
这个作者很懒,什么都没留下…
展开
-
kafka根据指定timestamp获得对应的offset
kafka offset timestamp原创 2022-11-07 10:38:05 · 2164 阅读 · 0 评论 -
让pycharm利用docker的环境进行开发
*pycharm要使用隔离的python环境的话,可以利用virtualenv,conda来创建但是现在要通过docker的方式实现环境的隔离,例如要使用比较重的tensorflow来实现的话有一个前提条件,1 pycharm要使用正式版2 docker环境要能支持sshd服务(默认是不支持的)*关于第一个条件,可以百度下面述说第二个条件,我们自己创建一个带ssh服务的te...原创 2018-12-06 19:56:45 · 3191 阅读 · 0 评论 -
配置最基础的linux系统——Centos6.x版本
自然是用到虚拟机了,Vmware是我常用的,这里建立一个虚拟的裸机很简单,有两点是要说明的1 最大磁盘大小,这个默认的是最小大小,不能设的别它还小了,否则启动不了Centos安装程序2 显示器部分要设置为小些的分辨率,太大的话,启动Centos安装程序后,你看不到页面的右下角的下一步按钮我的Centos版本是选用的Mini最小版本的安装原创 2018-01-30 10:36:02 · 921 阅读 · 0 评论 -
centos安装scp命令
在测试中需要在两台虚拟机之间传递文件,首先想到的是scp命令,结果提示:-bash: scp: command not found想当然用yum install scp命令安装,结果提示:No package scp available.后来发现scp这东西应该属于openssh-clients这个包,运行:yum install openssh-clien原创 2018-01-29 16:07:10 · 365 阅读 · 0 评论 -
docker的使用
常用的命令:docker -version:查看是否已经安装了docker;并确定docker是否正在运行?搜索镜像文件:比如说查找名为教导的tutorial的image docker search tutorialyou@tutorial:~$ docker search tutorialFoun转载 2018-01-24 15:29:17 · 211 阅读 · 0 评论 -
docker学习之一: docker的安装和初步使用
最近公司上了现成的产品是打算直接用docker部署的,于是开始自己提前学习学习我自己的虚机是ubuntu14.04 网上有的说利用脚本的形式来安装,安装命令如下:sudo apt-wget -qO- https://get.docker.com | sh 说明下就是通过apt-get命令下载下来的sh文件再接着执行该sh,完成安装但是,我测了下,貌似不可以,原创 2018-01-24 15:09:12 · 214 阅读 · 0 评论 -
kubernetes与tf的结合
打算弄一个有资源调度的tf集群貌似不论在模型训练阶段和对外提供服务阶段,都是可以利用kubernetes的https://www.cnblogs.com/wangxiaocvpr/p/5902086.htmlhttp://blog.csdn.net/horsefoot/article/details/71773791原创 2018-01-05 18:30:34 · 261 阅读 · 0 评论 -
python的enumerate使用
enumerate()是python的内置函数enumerate在字典上是枚举、列举的意思对于一个可迭代的(iterable)/可遍历的对象(如列表、字符串),enumerate将其组成一个索引序列,利用它可以同时获得索引和值enumerate多用于在for循环中得到计数list1 = ["这","是","一个","测试"]for index,原创 2018-01-04 14:12:00 · 175 阅读 · 0 评论 -
关于安装vmware tools的步骤做法
vmware tools的安装包就在vmware的安装包内安装好vmware后,进入C:\Program Files (x86)\VMware\VMware Workstation,也就是它的VMware Workstation目录下在这里有linux.os 和 windows.os ,当虚拟机里装的是linux系统就是linux.os ,装的是windows系统就是window.os原创 2018-01-04 09:27:22 · 283 阅读 · 0 评论 -
pycharm linux版本的安装以及简单使用
我安装的ubantu是14.04版本的,一路下一步就是ok一 :在ubantu系统中下载anaconda后,解压键入命令 sudo gedit /etc/profile 在打开的文件中的末尾追加上export PATH=/home/yhl/anaconda3/bin:$PATH这一步的目的是让安装的anaconda版的python 解释器成为系统默认的解释器,因为ubant原创 2018-01-04 08:49:00 · 4849 阅读 · 0 评论 -
阿里RocketMQ如何解决消息的顺序&重复两大硬伤?
http://www.sohu.com/a/129521820_487514分布式消息系统作为实现分布式系统可扩展、可伸缩性的关键组件,需要具有高吞吐量、高可用等特点。而谈到消息系统的设计,就回避不了两个问题:消息的顺序问题消息的重复问题RocketMQ作为阿里开源的一款高性能、高吞吐量的消息中间件,它是怎样来解决这两个问题的?RocketMQ有转载 2017-12-19 17:59:15 · 1689 阅读 · 0 评论 -
关于hbase过滤查询的一些
hbase有两种查询的方式一个get 一个scan其中get是根据精确的rowkey查出单条的记录 ,那么如果一条记录是有成千上万个字段的话,网络IO大,所以要get.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("f3"));get.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("f2")原创 2017-04-12 17:55:05 · 639 阅读 · 0 评论