- 博客(35)
- 收藏
- 关注
RSS订阅原创 docker的ms-ti
三剑客简介docker-machinedocker技术是基于Linux内核的cgroup技术实现的，那么问题来了，在非Linux平台上是否就不能使用docker技术了呢？答案是可以的，不过显然需要借助虚拟机去模拟出Linux环境来。docker-machine就是docker公司官方提出的，用于在各种平台上快速创建具有docker服务的虚拟机的技术，甚至可以通过指定driver来定制虚拟机的实现原理（一般是virtualbox）。docker-composedocker镜像在创建之后，往往
2022-02-21 17:15:12
95
原创 shell 脚本合集
1.# 编写脚本实现将/usr/local/test目录下大于100K文件，将它拷贝到/tmp目录下#!/bin/bashfor file in `ls /usr/local/test`doif [ -f $file ];then if [ `ls -l $file`|awk '｛print $5｝' -gt 10000];then mv $file /tmp/ fifidone2.#已知test.txt文件内容如下，请取出文件的5-15行内容
2022-02-15 17:22:45
211
转载 Django ————ORM：ORM常用字段类型
ORM：object relational mapping,对象关系映射django中使用原生sql的弊端： 1、SQL语句重复率很高，利用率不高 2、如果业务逻辑生变，原生SQL更改起来比较多 3、容易忽略一些web安全问题，如SQL注入ORM的优点： 易用性：使用ORM做数据库的开发可以有效的减少重复SQL语句的概率，写出来的模型也更加直观、清晰。 性能损耗小：OR...
2020-04-09 23:52:40
490
转载 解决Ubuntu桥接模式不能上网方案
本文链接：https://blog.csdn.net/qq_36908841/article/details/81075082楼主的是Ubuntu14.04版本，其它版本的应该也可以试试。最近在研究Hadoop，第一步就是要修改虚拟机的连接方式为桥接模式，但是我发现我桥接模式下死活连不上网…于是就去百度了，几乎把所有的方法都试了一遍，很多都是修改虚拟网络编辑器…但并没有解决我的问题…楼...
2019-10-28 13:24:11
1737
转载 Python网络爬虫（六）- Scrapy框架
目录：Python网络爬虫（一）- 入门基础 Python网络爬虫（二）- urllib爬虫案例 Python网络爬虫（三）- 爬虫进阶 Python网络爬虫（四）- XPath Python网络爬虫（五）- Requests和Beautiful Soup Python网络爬虫（六）- Scrapy框架 Python网络爬虫（七）- 深度爬虫CrawlSpider Python...
2018-09-18 09:11:36
1106
转载 Java中的String，StringBuilder，StringBuffer三者的区别
最近在学习Java的时候，遇到了这样一个问题，就是String,StringBuilder以及StringBuffer这三个类之间有什么区别呢，自己从网上搜索了一些资料，有所了解了之后在这里整理一下，便于大家观看，也便于加深自己学习过程中对这些知识点的记忆，如果哪里有误，恳请指正。 这三个类之间的区别主要是在两个方面，即运行速度和线程安全这两方面。首先说运行速度，或者说是执行速度，在这方面运行速...
2018-09-18 09:11:08
131
转载 JVM架构和GC垃圾回收机制
JVM架构和GC垃圾回收机制详解JVM架构图分析下图：参考网络+书籍，如有侵权请见谅 （想了解Hadoop内存溢出请看： Hadoop内存溢出(OOM)分类、参数调优化）JVM被分为三个主要的子系统（1）类加载器子系统（2）运行时数据区（3）执行引擎1. 类加载器子系统Java的动态类加载功能是由类加载器子系统处理。当它在运行时（不是编译时）首次引用一个类时，它加载、链接并初始化该类文件。1.1 ...
2018-09-18 09:10:58
130
转载 MapReduce切片（Split）和分区（Partitioner）
MapReduce中，分片、分区、排序和分组（Group）的关系图： 分片大小对于HDFS中存储的一个文件，要进行Map处理前，需要将它切分成多个块，才能分配给不同的MapTask去执行。 分片的数量等于启动的MapTask的数量。默认情况下，分片的大小就是HDFS的blockSize。Map阶段的对数据文件的切片，使用如下判断逻辑： protected long co...
2018-08-06 13:29:47
1874
1
转载 maven报错：Non-resolvable parent POM for com.taotao:Taotao-common:0.0.1-SNAPSHOT: Could not find artifa
在做淘淘商城的项目一开始搭建后台maven工程的时候，做Taotao-common工程继承taotao-parent父工程时，在子工程的pom.xml文件中报错：Project build error: Non-resolvable parent POM for com.taotao:Taotao-common:0.0.1-SNAPSHOT: Could not find artifact com...
2018-07-26 15:38:24
16463
1
转载 搭建 Spring MVC 框架
整个社会和人都在追求创新、进步、成长，没有人愿意停步不前，一个个老事物慢慢从我们生活中消失掉真的令人那么伤感么？或者说被取代？我想有些是的，但有些东西其实并不是这样。游天鸣和蓝玉不正说明了两种截然不同的人生么。随着社会的进步，那些消失的艺术或者说民间艺术可能现实中我们再也见不到了，这个社会永远都是优胜劣汰，消失以为着不再需要，只不过这些老物件有更多的技艺和精神层面的东西罢了。《百鸟朝凤》这部电影我...
2018-07-15 23:40:44
161
转载 eclipse环境下如何配置tomcat，并且把项目部署到Tomcat服务器上
eclipse环境下如何配置tomcat打开Eclipse，单击“Window”菜单，选择下方的“Preferences”。 单击“Server”选项，选择下方的“Runtime Environments”。 点击“Add”添加Tomcat。 点击“Next”，选中自己安装的Tomcat路径。 点击“Finish”完成。 建立一个Web应用File → New → Dynamic Web Proj...
2018-07-15 16:05:02
182
转载 启动tomcat时cmd窗口一闪而过解决方法
启动tomcat时cmd窗口一闪而过解决方法。问题现象：在实际开发中一般都是eclipse+tomcat(也许还会用到tomcat的插件)，我们只需要在eclipse中单击servers上的按钮就可以成功启动tomcat了，但是如果想在tomcat的安装目录下 双击startup.bat启动时却一闪而过了。这是为什么呢（tomcat启动失败），马上就带大家看看具体的原因。下面我先跟大家确认一下问题...
2018-07-15 16:01:27
1753
转载 hadoop datanode 启动出错
FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool BP-336454126-127.0.0.1-1419216478581 (storage id DS-445205871-127.0.0.1-50010-1419216613930) serv...
2018-07-12 10:57:02
217
转载 Spark 启动方式
1、spark 提交任务方式1）、spark on yarn：$ ./bin/spark-submit--class org.apache.spark.examples.SparkPi \ --master yarn-cluster \ --num-executors 3 \ --driver-memory 4g \ --executor-memory 2g \ --...
2018-07-03 15:52:18
1683
转载 CentOS7 Hadoop 2.7.3 Hive 2.1.1
1.前言说明：安装hive前提是要先安装hadoop集群，并且hive只需要再hadoop的namenode节点集群里安装即可(需要再所有namenode上安装)，可以不在datanode节点的机器上安装。另外还需要说明的是，虽然修改配置文件并不需要你已经把hadoop跑起来，但是本文中用到了hadoop命令，在执行这些命令前你必须确保hadoop是在正常跑着的，而且启动hive的前提也是需要ha...
2018-06-07 00:55:18
188
原创 MapReduce和yarn
1.Mapreduce是什么?Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架；Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上；2.作用（1）海量数据在单机上处理因为硬件资源限制，无法胜任（2）而一旦将单机版程序扩展到集群来分布式运行，将极大增加程序的复杂度和...
2018-06-06 13:09:11
187
转载 MapReduce排序过程详解
Hadoop、Spark等分布式数据处理框架在宣传自己的性能时大都以排序效果来做比较，各种类别的Sort Benchmark已成为行业基准测试。之所以选择排序是因为排序的核心是shuffle操作，数据的传输会横跨集群中所有主机，Shuffle基本支持了所有的分布式数据处理负载。下面就来详细分析一下使用mapreduce实现排序的基本过程。先看一些准备知识。MapReduce中的数据流动最简单的过程...
2018-06-01 14:17:26
13715
1
转载 mapreduce序列化java代码
package demo;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Doub...
2018-05-29 21:45:38
238
转载 震惊！面对他人提问某著名程序员居然这样回复爆出惊天内幕！引现场数万人围观！
看了这些来自程序员的神回复，你就会明白，程序员是世界上最聪明、最具幽默感的一群人。工作相关0. 如果软件正在占领全世界，为什么程序员得不到尊重？遍身罗绮者，不是养蚕人。1. 中国大陆的盗版Windows系统都是怎么做出来的？复制、粘贴。2. 中国梦和美国梦的区别是什么？中国梦.txt，美国梦.exe3. 请用最简洁的语言描述我国fa lv。7544. 哪种编程能够永生？除非你能一直续。5.怎么翻译...
2018-05-24 13:41:19
2362
5
原创 centos7 安装mysql
#创建一个mysql用户useradd mysqlpasswd mysql#将mysql压缩包拖入虚拟机后解压tar -zxvf mysql-5.6.39-linux-glibc2.12-x86_64.tar.gz#安装perl gcc模块编译器yum -y install perl gcc kernel-devel#复制mysql解压文件并更名为“mysql”mv mysql-5.6.39-li...
2018-05-24 13:18:52
174
转载 Hadoop退出安全模式
hadoop为了防止数据丢失，启动了“安全模式”的设置，每次启动hadoop后一段时间内集群处于安全模式，该模式下集群会检查各节点文件块的记录，如果数据块中满足replication设置值的数据块的数量在总数据块数量中所占比例没有超过一定值（称为安全模式阀值，默认为0.999f），那么集群将持续处于安全模式，在该模式下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系...
2018-05-24 13:18:09
658
转载 chown -R mysql:mysql ./及chown详解
当我们在不通过yum(CentOS<redhat>)、apt-get(Ubuntu<debian>)来安装MySQL的时候，通常执行以下命令来改变目录的拥有者：[root@localhost ~]# chown -R mysql:mysql ./那？这两个mysql谁是用户名谁是用户组呢？见chown详解 chown将指定文件的拥有者改为指定的用户或组，用户可以是...
2018-05-23 18:30:20
10774
转载 centos7上安装Hadoop集群
1下载hadoop2安装3个虚拟机并实现ssh免密码登录 2.1安装3个机器 2.2检查机器名称 2.3修改/etc/hosts文件 2.4 给3个机器生成秘钥文件 2.5 在hserver1上创建authorized_keys文件 2.6将authorized_keys文件复制到其他机器 2.7 测...
2018-05-23 15:08:16
368
原创 HADOOP生态圈
Hadoop是一个开源的、可靠的、可扩展的分布式并行计算框架，主要包括：-MapReduce – 离线大数据分析计算引擎-HDFS – 分布式文件系统：大规模、分布式、容错-YARN– 任务执行调度资源管理框架-Hbase – NoSQL数据库-Hive – 分布式数据仓库：基于SQL的数据仓库，数据分析工具，将结构化数据文件映射为库表，并提供强大的类SQL查询功能-MapReduce – 分布式...
2018-05-22 23:47:26
354
转载 CentOS 7 下关于时间和日期以及时间同步的应用
在CentOS 6版本，时间设置有date、hwclock命令，从CentOS 7开始，使用了一个新的命令timedatectl。1. 基本概念1.1 GMT、UTC、CST、DST 时间UTC整个地球分为二十四时区，每个时区都有自己的本地时间。在国际无线电通信场合，为了统一起见，使用一个统一的时间，称为通用协调时(UTC, Universal Time Coordinated)。GMT格林威治标...
2018-05-22 14:35:22
347
转载 py正则表达式
Python中的正则表达式教程正则表达式经常被用到，而自己总是记不全，转载一份完整的以备不时之需。1. 正则表达式基础1.1. 简单介绍正则表达式并不是Python的一部分。正则表达式是用于处理字符串的强大工具，拥有自己独特的语法以及一个独立的处理引擎，效率上可能不如str自带的方法，但功能十分强大。得益于这一点，在提供了正则表达式的语言里，正则表达式的语法都是一样的，区别只在于不同的编程语言实现...
2018-05-11 11:12:38
641
原创 py requsets 爬例1
import requestsmurl='http://www.baidu.com'#返回服务器响应对象mreponse=requests.get(murl)#手工修改响应对象编制mreponse.encoding='uft-8'#服务器响应对象编码mencoding=mreponse.encodingprint(f"响应对象编码:{mencoding}")#从响应对象中获取内容...
2018-05-11 09:20:49
140
原创 python简单伪装和爬网页
import reimport urllibimport urllib.requesturl = 'http://www.baidu.com'headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safa...
2018-05-10 23:37:23
160
原创 python 过滤
12345678910111213141516171819202122''' filter: 过滤符合条件的可迭代序列 1.参数1: 函数 或 lambda表达式 2.参数2: 可迭代序列 ''' #函数: 过滤大于60分def greater_than_60(x): return x >= 60 scores = [88,67,95,58,86,99,43...
2018-05-09 22:46:59
193
原创 python分解质因数
n = num = int(input('请输入一个数字：')) #用num保留初始值f = [] #存放质因数的列表 for j in range(int(num/2)+1): #判断次数仅需该数字的一半多1次 for i in range(2, n): t = n % i #i不能是n本身 if t == 0: #若能整除 f....
2018-05-09 09:42:14
3608
1
转载 百度大牛总结十条Python面试题陷阱
问题1:请问如何修改以下Python代码，使得下面的代码调用类A的show方法?答：这道题的考点是类继承，只要通过__class__ 方法指定类对象就可以了。补充的代码如下：问题2：请问如何修改以下Python代码，使得代码能够运行?答：此题考察得是方法对象，为了能让对象实例能被直接调用，需要实现 __call__ 方法，补充代码如下：问题3：下面这段代码的输出是什么?答：此题考察的是new和in...
2018-05-07 22:14:48
735
原创 Python：猜拳游戏
import random #导入包play = int(input("请输入（石头0 剪刀1 布2）：")) #这里的int必须加上i = random.randint(0,2) # 随机生成 0.1.2 其中一个值，并赋值给iif (play == 0 and i == 2) or (play == 1 and i == 0) or (play == 2 and i == 1): ...
2018-05-06 19:43:32
828
原创 Python打印：九九乘法表
1 i = 12 while i <= 9:3 n = 14 while n <=i:5 print("%d*%d=%d\t"%(n,i,i*n),end="")6 n += 17 print("")8 i +=1
2018-05-06 19:41:51
173
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人