青春程序不迷路-CSDN博客

如何使用进行Django迁移向model添加新字段随着Django 1.7中引入的新迁移，为了在模型中添加一个新的字段，您可以简单地将该字段添加到模型中，使用 ./ manage.py makemigrations 初始化迁移，然后运行 ./ manage.py migrate ，新的字段将添加到您的数据库。为避免处理现有机型的错误，您可以使用 - fake ：1)初始化现有模型的迁移：python manage.py makemigrations myapp2)现有模型的假迁移：python

2021-11-05 11:41:06 1232

原创 HDFS的读写流程

HDFS的读写流程一HDFS的写的流程1.client发起文件上传的请求，通过RPC与NameNode 建立通讯，NameNode 检查目标文件是否已经存在，父目录是否存在，返回是否可以上传2.client 请求第一个block 该传输到哪些DataNode服务器上3.NameNode根据配置文件中指定的备份数量以及副本放置的策略进行文件分配，返回可用的DataNode的地址，比如A，B,C4.client 请求3台DataNode 的一台A上传数据，A收到请求会继续调用B,然后B调用C ，将整

2021-05-28 14:19:27 166

原创分布式和集群的区别

分布式和集群的区别分布式和集群，这两个概念确认容易被人搞混。而且分布式和集群，这两者，经常是我中有你，你中有我。分布式系统大家从网络上看到的学术定义简单来说就是一套由一组计算机协同工作，让用户感觉像是一个统一的整体的系统。但是，由于这个定义定的过于简练，很多初入门的人会毫无感知的潜意识就会混淆了分布式系统的概念。什么意思？我这里问下，当我们用 keepalived 做高可用集群的时候，我们是在搞分布式系统吗？当我们并发不够，搞了一堆机器做负载均衡，我们是在搞分布式系统吗？当你心里默默回答是，或者

2021-05-26 15:54:49 150

原创大数据的生态现状

大数据的生态现状一大数据的概念*数据*数据是可以获取和存储的信息，直观而言，表达某种客观事实的数值是最容易被人们识别的数据(因为那是“数”)。但实际上，人类的一切语言文字、图形图画、音像记录，所有感官可以察觉的事物，只要能被记下来，能够查询到，就都是数据(data)。相关的计算单位1Byte = 8bit 1K(千)= 1024Byte 1MB（兆)=1024K 1G(吉) = 1024M1T(太)=1024G 1P(拍)=1024T 1E(艾)=1024P 1Z(泽)=102

2021-05-26 15:23:33 147

转载 UnicodeEncodeError: 'gbk' codec can't encode character '\xbb' in position 121903: illegal multibyte

当我们做爬虫的时候，需要把抓取的数据保存到文件里，但在用IDE， pycharm的时候，由于系统默认采用新生成的文件是采用gbk编码，所以我们会出现类似的错误，我们需要对默认编码进行修改，如有遇到此问题，请参考此文章最后标红的地方Python UnicodeEncodeError: 'gbk' codec can't encode character 解决方法转载发布时间：2015年04月2...

2018-05-28 21:34:26 1498

原创如何修改git空文件夹的错误

投票接受了票+100方法一解决此类问题第1步：做一个.git的备份（实际上，我在每一个改变某些内容的步骤之间都会这样做，但是使用新的副本名称，例如.git-old-1，.git-old-2等）：cp -a .git .git-old第2步：运行 git fsck --fullnathanvan@nathanvan-N61Jq:~/workspace/mcmc-chapter$ git fsck...

2018-05-28 21:17:35 1968